Inicialmente concebido para medir o atraso das instituições chinesas em relação às principais universidades ocidentais, o Academic Ranking of World Universities (Arwu), ou simplesmente a “Classificação ou Índice de Xangai”, elaborado pelo Instituto de Educação Superior da Universidade Shangai Jiao Tong, rapidamente tornou-se uma referência no ranqueamento acadêmico de instituições de ensino superior (IES), inspirando a criação de uma série de outros sistemas de avaliação global. Atualmente, há cerca de 15 sistemas globais de classificação.

A Arwu é publicada anualmente desde junho de 2003. No ano seguinte, a revista britânica Times Higher Education e a também britânica Quacquarelli Symonds, empresa de intercâmbio educacional, lançaram, em parceria, seu próprio ranking, a THE QS Top University Ranking, que em 2010 seria desmembrado em THE e QS. Também em 2004, começou a Webometrics, do Conselho Nacional de Pesquisa da Espanha.

A metodologia dos rankings varia quanto aos fatores avaliados – produção científica, prestígio entre pares e recrutadores, grau de internacionalização do quadro docente e discente etc. – e os pesos dados a cada fator, além do modo de obter os dados. A classificação de Xangai leva em conta parâmetros como número de alunos e professores ganhadores de Nobel e Medalha Fields; número de artigos publicados nas revistas Science e Nature e outras revistas indexadas (na Science Citation Index-Expanded e na Social Science Citation Index) e número de pesquisadores com alto nível de citação. A classificação THE usa indicadores como colaboração internacional nas pesquisas, número de estudantes estrangeiros, investimentos em pesquisa na universidade, artigos publicados em revistas indexadas (na Thomson Reuters, atual parceira na elaboração do ranking) e seus índices de citação, consultoria e inovação para a indústria, pesquisa de opinião sobre prestígio das instituições, razão professor/aluno.

Embora pioneira no recente boom dos rankings universitários globais, a Arwu e seus congêneres são um desenvolvimento tardio de um processo que pode ser traçado desde pelo menos o fim do século 19, com a publicação na Inglaterra de Where we get our best men: some statistics showing their nationalities, counties, schools, universities and other antecedents 1837-1897 (De onde obtemos nossos melhores homens: algumas estatísticas mostrando suas nacionalidades, regiões, escolas, universidades e outros antecedentes) de Alick Maclean, em 1900. A compilação logo levou à listagem das universidades de acordo com o número de alunos famosos que as frequentaram.

No Brasil, o interesse e a preocupação com indicadores de qualidade das IES são crescentes. As IES com boas colocações também se valem dos índices como elemento de propaganda e marketing. Mas o fenômeno é mundial. Na Rússia e no Japão, por exemplo, a política educacional e até a econômica têm por objetivo melhorar o posicionamento de suas universidades nos rankings globais. Portia Simpson-Miller, primeira-ministra da Jamaica, no encontro da Association of Commonwealth Universities, em novembro de 2012, declarou: “Rankings universitários são um modo de animar a academia para se manterem relevantes. Qualquer país, se quiser se tornar ou se manter forte, deve ter uma forte base universitária.”

O “sucesso” deles, argumenta Glaydys Barreyro, doutora em educação pela USP e professora do programa de pós-graduação da Faculdade de Educação da USP “é porque simplificam os resultados e, num mundo competitivo, comparam as instituições, e isso facilita a divulgação, a compreensão e tem apelo de público e de mídia.” Leia a entrevista na íntegra de Barreyro.

Ellen Hazelkorn, consultora de política da Higher Education Authority (órgão governamental responsável pela educação superior na Irlanda), diretora da Unidade de Pesquisa em Política de Educação Superior da Dublin Institute of Technology e autora do livro Rankings and the reshaping of higher education. The battle for world-class excellence (Palgrave Macmillan, 304 p.), argumenta que “os rankings ganharam popularidade por fornecerem um modo simples, rápido e fácil de medir e comparar a performance e 'qualidade' do ensino superior em nível internacional”. E complementa: “Isso é especialmente importante para estudantes, empregadores e outros que têm pouco ou nenhum conhecimento local sobre as diferentes instituições e qualidade da experiência educacional.”

Essa proeminência e influência dos rankings têm motivado uma análise crítica por parte de acadêmicos e especialistas em políticas universitárias. Em 2011, a Unesco realizou, em sua sede em Paris, em parceria com o Banco Mundial e a Organização para a Cooperação e Desenvolvimento Econômico (OCDE), o fórum Global Forum on Rankings and Accountability in Higher Education: Uses and Misuses. Segundo o fórum, os rankings foram bem sucedidos em pontos como colocar em consideração a qualidade em um quadro internacional comparativo maior, tornar o mundo da educação superior mais competitivo e multipolar e chamar a atenção para a importância de boas informações comparativas sobre qualidade: performance, produtividade, valor do investimento e retorno do investimento público.

Por outro lado, concluiu-se que, em um universo de mais de 16 mil IES, o foco é em menos de 1% das instituições (as top 100 das classificações). O fórum também apontou que os rankings não revelam nada sobre como a educação superior dos países funciona e que encorajam as nações a focarem-se desproporcionalmente nas instituições de elite – de forma que a ênfase desproporcional na pesquisa possa prejudicar o ensino e a aprendizagem.

O relatóriode 2013 da Associação Universitária Europeia (EUA, da sigla em inglês), organização sediada em Bruxelas, Bélgica, que congrega mais de 850 IES de 47 países mostra a consolidação do fenômeno geral do ranqueamento e analisa os sistemas. O documento aponta o foco contínuo na elite das universidades, negligência de artes, humanidades e ciências sociais, descrição superficial de metodologia e indicadores pobres e referência quase exclusiva a publicações em inglês. Percebe, porém, maior atitude autocrítica por parte dos organizadores, alertando sobre como os resultados dos rankings podem ser mal utilizados.

A conclusão do comitê do Nordisk Institutt for Studier av Innovasjon, Forskning og Utdanning (Instituto Nórdico para Estudos em Inovação, Pesquisa e Educação – NIFU), em estudo de 2014 feito a pedido do Ministério da Educação da Noruega é ainda mais severa. Dizem os autores que “a principal conclusão é que a posição das universidades nos dois rankings universitários internacionais mais famosos – THE e ARWU – é determinada, principalmente, por pesos subjetivos de fatores que frequentemente têm uma relação fraca com a educação e a qualidade da pesquisa. Os rankings são construídos a partir de base de dados de acessibilidade variável e métodos não transparentes. Esses rankings não dizem nada sobre educação. Os rankings universitários internacionais são, portanto, inadequados como fonte de informação e feedback tanto para educação quanto para a pesquisa se o objetivo é a melhoria das universidades e faculdades norueguesas.”

Hazelkorn concorda que a atribuição de pesos aos fatores é bastante arbitrário, obedecendo aos interesses do órgão classificador. Ela também aponta para o fato de muitos fatores serem inter-relacionados, medindo, ao fim, um mesmo aspecto. “Os rankings são essencialmente unidimensionais considerando que os indicadores são independentes uns dos outros, enquanto, na realidade, a multicolinearidade é pervasiva; por exemplo, universidades mais antigas e que recebem bastante recursos provavelmente possuirão melhores razões professor/estudante e gastos por aluno em comparação com instituições mais novas; outra característica da multicolinearidade é que a maioria dos indicadores é relacionada à pesquisa, e todos os números dos indicadores simplesmente ocultam esse fato”, diz.

Gladys Barreyro considera que os rankings internacionais são voltados apenas para a hierarquização das universidades de pesquisa. “Eles recebem muitas críticas pela metodologia, que, às vezes, muda de edição a edição e que privilegia a pesquisa, não considera ou minimiza o ensino, ignoram ciências sociais ou humanidades, consideram apenas as publicações em inglês ou a quantidade de prêmios Nobel, ou seja, simplificam as atividades das instituições de educação superior e as padronizam”, diz. Para ela, se são utilizados os rankings como único elemento, dadas suas limitações e falhas, haverá dados falhos no diagnóstico ao momento de elaborar uma política pública.

Limitações do uso

Editor do ranking da THE, Phil Baty reconhece as críticas, mas as rebate. “Claro que pontuações compostas globais têm suas limitações inerentes, mas os rankings THE são baseados em 13 indicadores separados de desempenho cobrindo toda a variedade de atividades universitárias – ensino, pesquisa, transferência de conhecimento e perspectiva internacional – e encorajamos nossos usuários a se aprofundarem nas pontuações compostas para obter a informação desejada. Não penso que os rankings THE atrairiam dezenas de milhões de visualizações online, de todo o mundo, se eles fossem realmente inúteis”, afirma. Seriam os rankings passíveis de burla por parte de universidades que queiram artificialmente aparecer mais bem posicionadas? “Não tenho dúvidas de que os rankings globais mais simplistas e grosseiros possam ser facilmente burlados; mas a THE utiliza vários indicadores separados cuidadosamente calibrados, obtendo muito dos dados de fontes totalmente independentes, assim eles são difíceis de serem manipulados”, responde Baty.

A posição do governo brasileiro a respeito dos rankings internacionais tem variado ao longo do tempo. Apesar de não ter defendido seu uso em ocasiões passadas, incorporou os rankings como critério para seleção de instituições elegíveis do programa Ciência sem Fronteiras.

Para o físico Leandro Russovski Tessler, ex-coordenador de Relações Internacionais e Institucionais da Unicamp, os rankings têm sua utilidade, desde que se reconheçam suas limitações. “Os rankings valem o que valem. Obviamente um ranking como o Arwu, que avalia apenas indicadores de pesquisa, vai favorecer as universidades intensivas em pesquisa. Outros mais voltados para o estudante, como o QS, vão favorecer universidades mais internacionalizadas e com atenção ao estudante. De qualquer forma é impossível escapar da polarização linguística: instituições anglófonas ou onde o inglês é parcialmente usado geralmente vão obter melhores colocações”. E completa: “O que não devemos é tomá-los como indicadores absolutos”.

Baty concorda: “As classificações fornecem dados robustos e independentes sobre o estado da economia do conhecimento. No entanto, o cachorro deve abanar o rabo, não o rabo abanar o cachorro. Os rankings podem ofereceminsights valiosos, benchmarks globais, acompanhamento de progresso, mas mirá-los como uma política em si, em vez de utilizá-los para informar a política, tem seus próprios riscos. Cada país e cada instituição deve ter seu próprio conjunto de prioridades políticas”.