Avaliações e indicadores
As avaliações são necessárias especialmente quando é considerado algum tipo de mudança no ensino, e elas fazem parte do processo de educação, estabelecendo metas, afetando decisões sobre o currículo e formas de investimento. Em 2010, foi apresentado o Plano Nacional de Educação (PNE) com vinte metas para a próxima década. Segundo o documento elaborado pelo Ministério da Educação (MEC), o PNE “deve ser a base para a elaboração dos planos estaduais, distrital e municipais, que, ao serem aprovados em lei, devem prever recursos orçamentários para a sua execução”. O Índice de Desenvolvimento da Educação Básica (Ideb), um “indicador objetivo para a verificação do cumprimento de metas”, é um dos instrumentos previstos no PNE utilizados para avaliar a educação brasileira.

Aplicado pela primeira vez em 1990, o Sistema de Avaliação da Educação Básica (Saeb) é composto por um conjunto de avaliações externas. O primeiro formato do sistema foi mantido até 1993 e é composto por provas de língua portuguesa, matemática e ciências para alunos das 1ª, 3ª, 5ª e 7ª séries (na antiga divisão do ensino fundamental) das escolas públicas da rede urbana. Desde então, esse sistema sofreu inúmeras alterações ao longo do tempo: passou a ser aplicado em caráter amostral, foi acrescentada uma amostra da rede privada, a partir de sorteios de escolas e disciplinas foram retiradas e outras adicionadas.

Em 2005, o Saeb foi reestruturado, passando a ser composto por duas avaliações: a Avaliação Nacional da Educação Básica (Aneb) e a Avaliação Nacional do Rendimento Escolar (Anresc), conhecida como Prova Brasil. Ambas avaliam os níveis de alfabetização utilizando provas de língua portuguesa e matemática. As provas são complementares, de modo que a Aneb manteve os procedimentos da avaliação amostral das redes públicas e privadas e a Anresc avalia de forma censitária as escolas que atendem aos critérios de quantidade mínima de estudantes na série avaliada, permitindo gerar resultados por escola. São aplicadas no 5º e 9º ano do ensino fundamental. Na edição de 2013, a Avaliação Nacional da Alfabetização (ANA) passou a compor o Saeb sendo aplicada no 3º ano do ensino fundamental.

Além de todas as avaliações citadas acima, há, ainda, a Avaliação de Alfabetização Infantil, que é chamada de Provinha Brasil, foi implementada em 2012 e é aplicada no 2º ano do ensino fundamental das escolas públicas. Os resultados referentes às taxas de aprovação/reprovação e das notas dos alunos na Prova Brasil são disponibilizados pelo MEC dentro de uma escala de 0 a 10 e constituem o Ideb. Desse modo, as escolas recebem uma classificação, fato que pode estimular a competição entre os agentes da educação.

O grande equívoco do Inep, segundo Luiz Carlos de Freitas, professor da Faculdade de Educação da Universidade Estadual de Campinas (Unicamp), foi aceitar transformar o Saeb, que era amostral, em um teste censitário, a Prova Brasil. “Nesse momento, ele cedeu às pressões dos reformadores empresariais da educação em sua sanha por julgar e punir as escolas individualmente”, avalia.

No contexto do ensino médio, os estudantes se deparam com mais duas provas: o Programa Internacional de Avaliação de Alunos (Pisa) e o Exame Nacional do Ensino Médio (Enem). O Pisa é uma avaliação realizada a cada três anos pela Organização para Cooperação e Desenvolvimento Econômico (OCDE), que mede o nível educacional de jovens de 15 anos por meio de provas de leitura, matemática e ciências. A OCDE é uma entidade formada por governos de 30 países e tem como princípios a democracia e a economia de mercado. Países que não são membros da OCDE, como o Brasil, também podem participar do Pisa.

Recentemente, um grupo de 80 pesquisadores de vários países, entre eles Harvey Goldstein, Diane Ravitch, Peter McLaren, Stephen J. Ball e Henry Giroux, reclamou do mecanismo de indução das políticas internacionais e alertou para suas consequências. “Como os países aceitam o Pisa como referência, eles acabam pautando suas avaliações nacionais na mesma ótica das do Pisa. Porém, a OCDE não faz só exames. Ela também recomenda políticas públicas de interesse dos empresários. Portanto, difunde-se a ideia de que se o exame tem credibilidade, logo, as políticas públicas recomendadas conduzirão a melhores posições no Pisa”, afirmam em carta ao diretor do Pisa da OCDE publicada no jornal The Guardian.

Um dos impactos mais visíveis da internacionalização das políticas e práticas educacionais tem sido o aumento de indicadores e formas de avaliação em larga escala da performance dos sistemas de educação. A internacionalização, explica Freitas, da Unicamp, “esconde a difusão de políticas, valores e conceitos em escala mundial”. Há um grande risco de adotar uma modelo internacional que não resolve problemas nacionais. “Como temos a tendência a achar que o que vem de outros países desenvolvidos é melhor do que o que podemos fazer, acabamos assimilando acriticamente.”, esclarece.

Já o Enem, aplicado desde 1998, é o exame mais conhecido dentre os demais. Segundo o Inep, ele foi criado “com o objetivo de avaliar o desempenho do estudante ao fim da educação básica, buscando contribuir para melhoria da qualidade desse nível escolar”. A partir de 2009, o Enem passou a ser utilizado também como mecanismo de seleção para o ingresso no ensino superior em universidades federais e também em universidades privadas, por meio do Programa Universidade para Todos (ProUni). Na opinião de Ocimar Alavarse, coordenador do Grupo de Estudos e Pesquisas em Avaliação Educacional (Gepave) e professor da Faculdade de Educação da Universidade de São Paulo (USP), o Enem tem uma peculiaridade que o difere das demais provas. Por ser a porta de entrada para inúmeras universidades do país, “há uma cobrança dos alunos para com os educadores para que o conteúdo do Enem seja abordado em sala de aula. Não podemos dizer se é um fato positivo ou negativo, mas não deixa de ser interessante”, observa.

Enquanto a certificação do ensino médio ocorre via Enem, o Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja) certifica o ensino fundamental para residentes no Brasil e no exterior. As habilidades e competências dos alunos da educação superior, por sua vez, é avaliada pelo Exame Nacional de Desempenho de Estudantes (Enade), que integra o Sistema Nacional de Avaliação da Educação Superior (Sinaes).

“Estreitamento curricular” ou a “boa educação”?
Ainda não há um consenso se de fato existe uma política de avaliação educacional eficiente e abrangente dentro do macro universo de diferentes programas de avaliação e indicadores como Saeb, Enem, Enade, Encceja, Sinaes, Prova Brasil e o Ideb. “Em alguns casos, temos acertos ou tentativas de acerto”, pontua Freitas. Ele discute, como exemplo, o caso do Sinaes: “Sua filosofia original era saudável. O que compromete os esforços nessa direção é o fato de se procurar fazer da avaliação um mecanismo de controle e responsabilização verticalizada de pessoas ou instituições. Avaliação de larga escala é feita para avaliar a política pública e não a escola especificamente ou o professor. A avaliação da escola tem que ser feita pela escola e sua comunidade local – interna e externa – envolve responsabilização participativa”, esclarece Freitas.

No entanto, Alavarse, da USP, ressalta que a interpretação dos resultados das avaliações externas possui uma falha grave. “Não há a segurança estatística para discriminar ‘melhores’ e ‘piores’, haja vista o erro de medida que acompanha seus resultados” afirma. Segundo ele, não há uma comissão que avalie o erro amostral, de modo que os resultados não poderiam ser tratados da maneira como são. Alavarse explica que a repercussão dos resultados das avaliações externas possui duas vertentes. “Diante de tais avaliações, encontramos, com muita frequência, dirigentes educacionais – secretários e ministros – que se entusiasmam com elas; por exemplo, encantados com a suposta precisão que seus números – os resultados – teriam e a capacidade de revelar a ‘verdade’ de suas redes e escolas. Mas há, também, um tipo de oposição às avaliações externas que as recusa completamente, como se elas fossem o sinônimo de um ‘mal’, como se fossem intrinsecamente desprovidas de qualquer significado ou importância, como se elas não tivessem nenhuma validade e fossem desprovidas de qualquer consistência”.

Independentemente do tipo de exame ou prova, não há meios de avaliar tudo o que é estudado nas escolas, o que obriga os avaliadores a fazer amostragens ou a medir o que Freitas chama de “traços latentes”, como habilidades ou competências. “Tudo isso envolve escolhas. Quem faz tais escolhas? Os elaboradores – terceirizados – de testes, a partir de um ‘comitê’ de apoio, ou como logo ocorrerá no Brasil, copiando o que ocorre hoje nos Estados Unidos, a partir de um currículo nacional comum. Mas os exames não podem incluir todo o currículo, pois seria muito caro e tornaria o teste muito longo”, esclarece.

Outra falha grave apontada por Freitas é a escolha de médias como referência, apoiadas usualmente em duas disciplinas: português e matemática. “Através de duas disciplinas, julgamos todo o trabalho da escola. Isso provoca um estreitamento curricular na sala de aula, pois os professores tendem a usar o tempo de outras disciplinas para apoiar o desenvolvimento dos alunos nas disciplinas que caem no exame. Com isso, mais treinam os alunos a fazer os testes do que de fato ensinam”, critica Freitas. “Um dos efeitos negativos dos testes é que eles eliminaram a discussão sobre o que entendermos ser uma ‘boa educação’. Eles colocaram no lugar da discussão as médias dos estudantes como sendo o mesmo que uma ‘boa educação’. Isso é falso. Produz uma corrida aos números”, critica Freitas.

Não são apenas pesquisadores brasileiros que apontam um desequilíbrio entre componentes curriculares obrigatórios – e efetivamente estudados – e o que se entende por “boa educação”. Gert Biesta, professor da Brunel University London e membro do Comitê de Educação da Holanda, afirmou, em palestra intitulada “Good education in an age of measurement”, que o fenômeno global das mensurações na área da educação e aprendizado tem se tornado uma “indústria global”. Ele chamou a atenção para a necessidade de se reconectar as políticas educacionais com a questão do propósito da educação. Uma tradução do artigo resultante dessa palestra foi publicada na revista brasileira Cadernos de Pesquisa. No texto, Biesta diz acreditar que a boa educação “é uma questão composta,” e que “precisamos distinguir entre as formas pelas quais a educação pode contribuir para a qualificação, para a socialização e para a subjetivação. Não queria sugerir que é sempre fácil fazer isso e menos ainda que, uma vez articuladas nossas visões sobre para que serve a educação, é fácil medir todos os aspectos. Mas se não formos explícitos sobre nossas visões acerca dos objetivos e fins da educação – se não atacarmos as perguntas quanto ao que constitui uma boa educação –, corremos o risco de as estatísticas e os rankings tomarem essas decisões por nós”.

Desde 2011, escolas públicas do estado de Goiás apresentam uma placa nos portões de entrada, com os resultados do Ideb. “Essa ideia de que a pressão da sociedade sobre a escola melhora os índices é muito recorrente na lógica empresarial. De fato, esses processos de meritocracia e testagem conduzem à privatização da educação”, explica Freitas. Do lado oposto da discussão, há países que não usam testes durante a educação básica.

Em uma reportagem do New York Times, são citados os exemplos da Escócia e dos Estados Unidos, que têm buscado um caminho diferente do excesso de avaliações. Segundo explica o ministro escocês de Educação na reportagem, criou-se uma situação contraditória, com abundância de testes e escassez de atenção sobre o que era ensinado. Freitas explica que essa também era a situação dos Estados Unidos. “Depois de um excesso de testes nos últimos 20 anos, (o país) tem duas propostas de lei no Congresso para reduzir o número de avaliações a que seus estudantes estão sendo submetidos. Uma das leis restringe as avaliações a uma a cada três anos. O debate está fervendo. Por aqui, a tendência é aumentar”.

A Finlândia é citada por Freitas como um bom exemplo de política pública educacional. “Não para ser copiada, mas para ajudar a refletir. Não é só avaliar e a educação melhora. Há necessidade de um conjunto de medidas que vão desde a formulação de uma política de formação de professores (que não temos), até a fixação de uma carreira atrativa (não baseada em bônus) e rever a própria organização da escola, massificando seu número, reduzindo ao mesmo tempo o número de alunos por sala de aula (daí porque é preciso massificar escolas) e, claro, criando um sistema de avaliação que dê transparência à ação da escola, mas que mobilize as forças positivas das escolas localmente para se debruçar sobre seus problemas e pensar como equacioná-los demandando tanto do poder público como de si mesmas. Infelizmente, caminhamos, com a orientação do Ministério da Educação atual, para mais uma década perdida. Teremos o aprofundamento das políticas de avaliação acompanhadas da importação da lógica dos negócios para dentro da educação.”, analisa Freitas.

Abrir uma clareira para arejar
O cientista social Donald Campbell afirmou, em artigo publicado em 1976, que “se você associa um indicador a recompensas ou consequências determinadas, vai gerar provavelmente uma corrupção do próprio indicador”. A lei de Campbell, segundo explica Freitas, “se aplica a toda avaliação que seja feita nos termos que ela define. O Ideb é uma delas. E à medida que o governo associar cada vez mais, como pretende fazer, repasse de recursos técnicos e financeiros aos resultados dessa avaliação, ela, que já não é robusta, se corromperá ainda mais”.

Alavarse salienta ainda a importância de se relativizar a ligação entre bons resultados em tais provas e melhor qualidade de ensino. “Qualidade está vinculada, também, à igualdade de oportunidades, que para determinadas etapas e determinados grupos sociais ainda se coloca como um desafio candente. Atentemos que, rigorosamente, o acesso não está garantido plenamente nem mesmo no ensino fundamental, pois no Brasil, já chegamos a 98%, que não é 100%, destacando que, em nosso país, qualquer percentual significa muita gente em termos absolutos, e nesse caso é da ordem de mais de 800 mil crianças”.

Desse modo, apesar do principal objetivo da elaboração das avaliações externas ser a gestão de ações para melhoria e avanço nos processos de ensino-aprendizagem e reformulação das políticas públicas educacionais, nota-se maior preocupação com a aquisição de dados e informações sobre a educação nacional e a observação do desempenho dos alunos e das escolas sem que isso seja revertido para os devidos fins. Para Alavarse, é necessário que se conheça e se utilize da melhor forma os resultados das avaliações externas nas salas de aula para que efetivamente sejam associados às transformações que são necessárias para melhorar a qualidade da escola pública.

Segundo Freitas, para fugir à lei de Campbell, deve-se esperar que mudanças nos sistemas de avaliações municipais, estaduais e nacionais proporcionem uma melhor abrangência e aplicação dos resultados. “Para poder construir o correto, é preciso parar de fazer o errado. Abrir uma clareira, arejar e estimular boas ideias que estão nas escolas e nas redes de ensino, mas que ficam soterradas nesta avalanche de medidas imediatistas baseadas na elevação de médias de alunos”, sugere.