Quantas vezes você já não saiu de uma prova reclamando: “Puxa, só caiu o que eu não estudei!”? Este talvez seja um comentário comum entre muitos estudantes brasileiros que participaram em 2000, 2003 e 2006 das provas do Programa Internacional de Avaliação de Alunos (Pisa). Afinal, o Brasil fica sempre entre os últimos classificados nesse sistema internacional de avaliação da educação. Essa informação, em princípio desoladora para os brasileiros, pode, contudo, ser relativizada, segundo especialistas na área.

Indicadores educacionais como o Programa Internacional de Avaliação de Alunos (Pisa, na sigla em inglês) e o próprio Índice de Desenvolvimento da Educação Básica (Ideb), calculado em âmbito nacional, apontam o que grupos de pessoas (de diferentes países, regiões, estados ou municípios) estudaram, aprenderam, entenderam e conhecem; e também aquilo que não estudaram, não aprenderam ou não entenderam e desconhecem. São indicadores de desempenho, mas não necessariamente de qualidade da educação. Esses e outros indicadores educacionais têm, porém, outra função relevante: podem sinalizar aquilo que esses grupos de pessoas vão estudar – e como vão estudar –, pois são instrumentos que orientam a formulação de políticas públicas na área de educação.

O que os indicadores indicam

Pesquisadores recomendam cautela ao se tratar dos indicadores educacionais. Afinal, os números não falam por si mesmos. Vandré Gomes da Silva, doutorando em educação pela Universidade de São Paulo (USP), alerta para os usos que são feitos dos indicadores educacionais. Segundo o pesquisador, eles não podem ser tomados como se medissem algo absolutamente preciso. José Roberto Rus Perez, professor da Faculdade de Educação da Universidade Estadual de Campinas (Unicamp) e diretor do Núcleo de Estudos de Políticas Públicas (Nepp) da mesma universidade, complementa que, conforme os indicadores foram sendo aprimorados, passaram a englobar mais dimensões. Mesmo assim, “nem sempre os indicadores são capazes de retratar fielmente a realidade”, avalia.

“Os números não são só números frios e secos. Têm informação qualitativa embutida neles. Os números são interpretados, com base em uma série de outras informações de que o analista dispõe. Então, depende da qualidade de quem os manipula, de quem usa esses dados. Quanto mais informações ele tem, melhor”, explica Rus Perez. Maria Inês Fini, especialista em avaliação educacional e assessora da Secretaria Estadual de Educação de São Paulo, comenta que “a avaliação sozinha não vale nada, mas serve para iluminar o caminho do ensino”.

Diagnósticos, parâmetros, planejamento e prestação de contas

Os indicadores são importantes instrumentos para guiar o planejamento, a formulação e o monitoramento de políticas públicas. Segundo Rus Perez, no caso da educação, existem dois tipos de sistemas de avaliação: um interno à própria rede educacional e outro externo. No primeiro caso, informações como número de alunos matriculados, número de aprovações e reprovações, idade, sexo e cor/raça dos alunos, por série e tipo de estabelecimento (público ou privado), são fornecidas pelas próprias escolas. As estatísticas produzidas a partir dessas informações constituem o censo educacional, que é realizado no Brasil pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), ligado ao Ministério da Educação.

Esses e outros dados, como salário dos professores e gastos públicos com educação, podem ser combinados na construção de indicadores, que congregam em si informações múltiplas e contextualizadas. O Programa Mundial de Indicadores Educacionais (WEI, na sigla em inglês), é calculado a partir dessas informações. Um dos objetivos do WEI, criado e executado pela Organização das Nações Unidas para a Educação, a Ciência e a Cultura (Unesco), é comparar sistemas educacionais de diferentes países.

Outros tipos de indicadores são aqueles que apontam prioritariamente o desempenho dos alunos. São baseados numa avaliação que não é intrínseca à rede de ensino. No caso do Pisa e do Ideb, a responsabilidade pela aplicação dos exames entre os alunos brasileiros é do Inep. Segundo Rus Perez, a vantagem desse tipo de avaliação é que ela é um parâmetro para comparação. O Ideb, por exemplo, é um instrumento único de avaliação para todo o país.

De acordo com Maria Camila Mendonça de Barros, gerente de metas de avaliação da Secretaria Estadual de Educação de São Paulo, as provas do Pisa fornecem médias de desempenho, baseadas numa escala de competências e habilidades. Já o Ideb é um indicador sintético, em que as médias de desempenho são ponderadas e corrigidas pelo fluxo (taxa de aprovação dos alunos), produzindo um indicador padronizado, que varia numa escala de 0 a 10. Com isso, o Ideb propõe como meta para o sistema educacional que as crianças e adolescentes tenham acesso à escola (e não a abandonem), nas séries apropriadas à sua idade (sem repetências) e com nível de aprendizado e proficiência adequados à sua série.

Para Ruz Perez, a partir dos indicadores é possível produzir um diagnóstico, identificar problemas, mas também experiências de êxito, estabelecer correlações, testar hipóteses e, a partir daí, fazer um planejamento, corrigir falhas, mudar estratégias e produzir recomendações para a melhoria da educação no país. “Sem essas informações, como é que você planeja? Se eu tenho uma hipótese, por exemplo, de que o nível de formação dos professores interfere na aprendizagem dos alunos, e implemento um programa, como é que eu vou saber se ele funciona? Eu compartilho o lado da importância dos indicadores e dos sistemas de avaliação”, sugere.

De acordo com Rus Perez, a partir da década de 1990, ampliou-se no Brasil o número de gestores que tomam decisões com base em informações técnicas, e não apenas políticas. “Não tem sentido um governo interromper um programa, sem o uso de um indicador, só porque era de outro governo, de outro partido”, afirma. Para o pesquisador, os indicadores são fundamentais para a tomada de decisão, e quanto melhores as informações de que um gestor disponha, melhor é o seu processo de tomada de decisão, “porque as decisões da gestão pública não são meramente políticas. Claro, também não são só técnicas”, pondera.

Um exemplo de mudança de rumo e de decisão tomada com base em avaliações com uso de indicadores foi a extinção do Programa “Escolas-Padrão” no estado de São Paulo. “Apesar de contarem com certas condições, foi verificado que o desempenho de alunos que estavam nas escolas-padrão e o daqueles que não estavam era muito semelhante”, lembra Rus Perez. Além disso, “os indicadores foram importantes para que finalmente, no final do século passado, nós tenhamos conseguido atingir a universalização do ensino fundamental”, completa.

Em favor do uso dos indicadores e contra críticas feitas a eles, Rus Perez argumenta quanto à necessidade indispensável de sua existência, em conformidade com a premissa da prestação de contas que supõe um Estado democrático. “Depende do lado que você está. Quando você está no poder, tem que mostrar o que está fazendo. É uma forma de prestar contas à sociedade. Nós estamos tratando do setor público, então temos que mostrar para a população o que está sendo feito com os recursos públicos. Ela paga impostos e o que recebe? O indicador é um instrumento importante para fazer o monitoramento e o acompanhamento dos resultados de todo o esforço social que é feito”, conclui.

Desempenho não é sinônimo de qualidade

Apesar de indispensável, o uso de indicadores não está livre de críticas. Uma delas é explicitada por Vandré Silva, da USP: para ele, os indicadores de desempenho acadêmico-cognitivo dos alunos não podem ser entendidos como indicadores de qualidade da educação. “Qualidade envolve outras discussões, além de aferir resultados”, avalia. No caso do Ideb, as provas realizadas medem habilidades e competências adquiridas pelos estudantes com base nos Parâmetros Curriculares Nacionais (PCNs) e nas matrizes curriculares de referência.

O problema, segundo Silva – e nesse ponto, Rus Perez concorda –, é que o Brasil não dispõe de um currículo básico para todo o país. Para o pesquisador da USP, há nos PCNs maior ênfase nas orientações pedagógico-metodológicas do que nos conteúdos. De acordo com ele, existem algumas poucas iniciativas estaduais, como as de Minas Gerais, São Paulo e Tocantins, de estabelecimento de currículos que especifiquem os conteúdos a serem ensinados nas escolas. Entretanto, falta, segundo Silva, “uma discussão ampla e pública sobre a formação do cidadão e o que se quer para a educação do país”. Nesse sentido, as avaliações revelam o desempenho dos alunos com base nos currículos tradicionais, e não necessariamente quanto a um currículo de cuja elaboração a sociedade tivesse participado, explicitando preferências sobre os conteúdos a serem ensinados. Já Mendonça de Barros afirma que, na elaboração da proposta curricular de São Paulo, a rede estadual de ensino teria sido consultada. Para ela, o currículo foi instituído como uma recomendação que possa orientar os professores nas aulas.

Romualdo Portela de Oliveira e Sandra Zákia de Souza, professores da Faculdade de Educação da USP, num artigo sobre as políticas de avaliação da educação, apontam um outro problema, também reconhecido por Silva, quanto aos parâmetros em que se pautam as avaliações que servem de base aos indicadores: a restrição da autonomia pedagógica e didática das escolas. Como condição de obterem bom desempenho nas avaliações, elas teriam os conhecimentos que devem legitimar delimitados. Restaria pouco tempo para o trabalho com especificidades e para iniciativas inovadoras no ensino, sobreposto pelas avaliações de desempenho.

O risco de que as escolas passem a restringir os conteúdos ensinados àqueles cobrados nos exames e a delimitar sua atuação apenas a preparar os alunos para as provas – como acontece no ensino médio em relação ao vestibular –, depende do uso que se faça dos indicadores. Dentre os pesquisadores que se dedicam ao assunto, alguns concluem, como é o caso de Oliveira e Souza, da USP, que nos procedimentos avaliativos, implementados a partir dos anos 1990, estaria implícita a concepção de que a qualidade do ensino resulta da adoção de princípios e valores inerentes à iniciativa privada, como o estímulo à competição. Daí o porquê do estabelecimento de rankings , com base nos indicadores, entre países, estados, escolas, professores e mesmo alunos. A suposição é a de que aqueles com melhor desempenho devem ser premiados, e os com pior, punidos. “De modo dominante, a lógica intrínseca às propostas avaliativas que vêm se delineando no país é a de atribuição de mérito com fins classificatórios. Sem dúvida, a avaliação é um processo capaz de direcionar projetos e ações, mas o que se evidencia com as práticas em curso é a perspectiva da reprodução e intensificação das desigualdades educacionais e políticas”, argumentam.

Alguns pesquisadores, apesar de reconhecerem o rigor técnico utilizado na aplicação das avaliações e aferições dos indicadores, pontuam que a própria ênfase na “técnica” – como negação da política – explicitaria um posicionamento político-ideológico. Quanto a isso, Rus Perez, da Unicamp, esclarece que “uma decisão também não é só técnica. Certas decisões dependem da linha política de quem as toma”. Ele cita como exemplo as escolhas possíveis de um gestor público sobre a distribuição de recursos entre escolas, com base nos indicadores de desempenho. O gestor pode optar por estimular a concorrência e premiar aquelas com melhor desempenho; mas também pode destinar mais recursos àquelas com pior índice, que estariam mais necessitadas. E ele pode, ainda, supor que as escolas bem avaliadas dispõem de certo subsídio, e propor para as mal avaliadas um assessoramento mais próximo. No fundo, “a grande importância dos indicadores é muito menos essa preocupação de ampliar scores (índices) do que pensar em recomendações sobre políticas para que a gente consiga melhorar o nível do nosso sistema educacional como um todo, e com isso melhorar o nível de formação das pessoas para sua atuação política, como cidadãs”, finaliza Rus Perez.

Educação do Brasil no mundo: Pisa O Brasil é o único país da América do Sul que participa do Pisa desde a sua primeira aplicação, feita aqui pelo Inep. A avaliação foi desenvolvida pelos países pertencentes à Organização para a Cooperação e o Desenvolvimento Econômico (OCDE) e mede o desempenho de alunos de 15 anos em três áreas do conhecimento: leitura, matemática e ciências. Para verificar as habilidades e conhecimentos adquiridos pelos alunos, eles são submetidos a provas com duração de duas horas, e respondem a questões abertas e de múltipla escolha. Países como Coréia do Sul, Finlândia e Hong Kong aparecem nos primeiros lugares nos rankings de classificação do Pisa de 2000 a 2006, nas três áreas do conhecimento abarcadas pelo exame. Já o Brasil, de acordo com o desempenho revelado nas provas pelos alunos incluídos nas amostras, costuma aparecer nas últimas posições, seja em ciências, matemática ou leitura. Segundo o Inep, nos três anos em que ocorreram as avaliações do Pisa, o desempenho dos brasileiros manteve-se praticamente o mesmo em ciências e leitura. Já em matemática, o indicador apontou uma melhora significativa. Educação no Brasil internamente: Ideb Desde o início da década de 1990, o Brasil passou a estruturar e a desenvolver sistemas de informação e de avaliação sobre a educação no país. A primeira iniciativa adotada foi a instituição do Sistema Nacional de Avaliação da Educação Básica (Saeb), cuja aplicação começou ainda em 1990. O Saeb segue os parâmetros do Pisa: a cada dois anos, amostras de estudantes de 4.ª e 8.ª séries do ensino fundamental e do 3.º ano do ensino médio fazem provas de português e matemática. Além disso, são coletadas informações sobre características dos alunos, professores e diretores, bem como sobre as condições físicas e equipamentos das escolas. A partir de 2005, foi criada também a Prova Brasil, aplicada apenas entre estudantes de 4.ª e 8.ª séries do ensino fundamental, de escolas públicas localizadas em áreas urbanas. Em contraste com o Saeb, que é uma avaliação que toma apenas amostras de estudantes, a Prova Brasil deve ser feita por todos os alunos que se enquadrem nas características do “universo” considerado por ela. Por isso, as médias de desempenho dos alunos em português e matemática podem ser obtidas por regiões, unidades da federação, municípios e por escolas. Tanto o Saeb quanto a Prova Brasil medem as habilidades e competências adquiridas pelos estudantes brasileiros em português e matemática, com base em uma escala de pontos que vai de 125 a 350 e de 125 a 375, respectivamente. A partir da conjunção dos dados sobre o desempenho dos alunos nesses dois exames, combinada com as informações sobre rendimento escolar, isto é, a taxa de aprovação dos alunos, foi criado em 2005 o Índice de Desenvolvimento da Educação Básica (Ideb), cuja escala varia de 0 a 10. As informações disponibilizadas pelo Inep mostram que, em 2005, considerando o país como um todo, o índice para os anos iniciais do ensino fundamental foi 3,8; para os anos finais do ensino médio, foi 3,5; para o ensino médio, foi 3,4. O Inep também calculou projeções do Ideb para o ano de 2021, que deverá estar em 6,0 para os anos iniciais do ensino fundamental e 5,5 para os anos finais, e em 5,2 para o ensino médio. Os estados que apresentam Ideb mais elevado em 2005, tanto nos anos finais do ensino fundamental quanto no ensino médio, são Santa Catarina, São Paulo, Minas Gerais, Rio Grande do Sul, Espírito Santo e o Distrito Federal. Os que apresentam Ideb mais baixo nos anos finais do ensino fundamental são Alagoas, Amazonas, Paraíba, Pernambuco, Rio Grande do Norte e Bahia. Os estados com Ideb mais baixo no ensino médio são Amazonas, Maranhão, Pará, Piauí e Rio Grande do Norte. Em todas as unidades da federação, o Ideb das escolas públicas, tanto do ensino fundamental quanto do médio, é mais baixo que a média estabelecida considerando estabelecimentos de ensino públicos e privados. Ideb 2005 - Ensino médio (redes pública e privada) Fonte: Inep