A cada ano, quando da divulgação dos rankings internacionais – e agora nacional, com o surgimento do Ranking Universitário Folha (RUF), desenvolvido pela Folha de S. Paulo – de instituições de ensino superior (IES), proliferam os comentários de que aquilo nada tem a ver com a realidade das instituições, que a metodologia é falha etc. Originários, principalmente, do Brasil e dos demais países da América Latina, onde poucas IES frequentam as listas. Por exemplo, na última lista das 400 melhores do Times Higher Education (THE 2014-2015 ), apenas quatro universidades da América Latina estão presentes: a USP e a Unicamp do Brasil, a Universidade Técnica Federico Santa Maria do Chile e a Universidade de Los Andes da Colômbia. No ranking das 100 melhores universidades jovens , com menos de 50 anos, apenas a Unicamp, de toda a América Latina, está presente. No ranking de Shangai das 500 melhores de 2014, estão presentes, além da USP e da Unicamp, a Unesp, e as federais de Minas Gerais, Rio de Janeiro e do Rio Grande do Sul. Na América Latina, mais duas do Chile e uma do México. Um desempenho pífio, sem dúvida.

No entanto, não são poucas as universidades, aqui ou no exterior, que se utilizam dos resultados, de uma forma ou outra. E vários países colocam os resultados dos rankings como critério de políticas para a educação superior, como é o caso da China, que estipulou metas do número de universidades que pretende ver entre as melhores do mundo. No caso do Brasil, há prioridade para estudantes que escolham IES no exterior que estejam entre as mais bem colocadas nos rankings internacionais, para fins de seleção no programa Ciência sem Fronteiras . Afinal, estão certos os críticos ou aqueles que utilizam essa informação para diversos fins?

Para responder a essa pergunta, comecemos por uma mais básica: afinal, o que dizem os rankings? A resposta é simples, os escores que os orientam são médias ponderadas de índices derivados de indicadores de desempenho bem conhecidos: número de alunos, relação alunos/docente, demanda em processos seletivos, número de artigos publicados, citações recebidas pelos mesmos, número de teses produzidas, enquetes sobre prestígio, financiamento para pesquisa, satisfação de estudantes, prêmios recebidos por seus pesquisadores ou ex-alunos (Nobel, medalha Fields etc.), prestação de serviços, transferência de tecnologia (patentes e licenciamentos), internacionalização e outros. Toda universidade divulga seus resultados nesses itens nas suas brochuras de divulgação e nos seus sites virtuais. Acadêmicos de muitas áreas utilizam critérios parecidos ao elaborarem pareceres em projetos de pesquisa e órgãos de fomento consideram essas informações relevantes. A Capes, que avalia os programas de pós-graduação do país, e o sistema de avaliação do ensino superior do MEC (Sinaes), também os levam em consideração.

Uma análise mais detalhada mostrará que, em geral, indicadores de desempenho em pesquisa são bastante valorizados, depois vem ensino (graduação e pós-graduação); menor impacto têm serviços à comunidade e geração e transferência de tecnologia. Não é de espantar, portanto, que o resultado para universidades brasileiras e da América Latina seja decepcionante: uma parte significativa da produção científica brasileira, cerca de 1/4 dos cerca de 40 mil artigos com autores brasileiros registrados na base Web of Science (Thomson Reuters) para o ano 2012, foi publicado em revistas brasileiras, que, na maioria, publicam os artigos em português.

A produção acadêmica divulgada em idiomas nacionais distintos do inglês dificilmente terá algum impacto nos indicadores utilizados, pois dificilmente será lida pela comunidade internacional. Por exemplo, no caso do ranking das universidades jovens do THE, a Unicamp, que está classificada na 37ª posição com 41,1 pontos, apesar de ter uma boa pontuação no item “Pesquisa” (49,5 pontos), não vai muito bem em “Citações” (27,9). Enquanto a Universidade de Bath, do Reino Unido, na 34ª posição e 41,6 pontos, recebe 33,8 pontos em “Pesquisa” mas 50,1 pontos em “Citações”. A primeira classificada nesse ranking, a Universidade Pohang de Ciência e Tecnologia, da Coreia do Sul, recebe 64,7 pontos em “Pesquisa” e 85,7 pontos em “Citações”. É política dessa universidade que só se publiquem artigos em inglês (mas, claro, essa não é a única razão da alta produtividade e impacto da pesquisa com origem nessa instituição). Outra instituição coreana ocupa a terceira posição entre as melhores instituições jovens.

A ênfase em pesquisa não é restrita aos rankings internacionais: também existe em avaliações desenvolvidas aqui no Brasil. O conceito Capes dos cursos de pós-graduação das nossas universidades utiliza uma avaliação da produção científica baseada em índices de impacto (citações) de periódicos (Qualis), que são gerados a partir do número de citações dos artigos ali publicados. É conhecido o debate sobre o sistema Qualis, que já pode ser considerado ultrapassado, pois é possível acessar o impacto individual de cada trabalho publicado, que seria um refinamento desse sistema. Também é procedente a crítica de que esse modelo não seria adequado a todas as áreas do conhecimento. Mas, nem por isso, desconsidera-se a avaliação realizada pela Capes. Universidades utilizam o conceito Capes em suas políticas internas, na divulgação de seus programas de pós-graduação, e pesquisadores fazem o mesmo para convencer órgãos financiadores de que vale a pena investir em seus projetos de pesquisa. Além disso, reconhece-se que a criação da avaliação da Capes foi fundamental para que a pós-graduação brasileira tenha chegado ao nível atual de boa qualidade, reconhecido internacionalmente pela crescente internacionalização dos estudantes em nossas melhores universidades.

Portanto, não é razoável desconsiderar os resultados dos rankings, pois eles se baseiam em indicadores de desempenho próximos daquilo que acadêmicos, instituições e governos sempre utilizaram, aqui no Brasil e em outras partes do mundo. Apesar de que limitações dos modelos utilizados possam ser facilmente detectadas, os resultados, lidos e interpretados apropriadamente, fornecem comparações internacionais entre sistemas e instituições, possibilitando-se determinar onde há deficiências, onde se poderia atuar para aprimorá-las, e assim por diante.

Pode-se dizer que a Unicamp, no cenário nacional e da América Latina, é uma das principais referências para a educação superior, pois está bem posicionada internacionalmente, considerando-se que é uma instituição bastante jovem. A USP, as federais de Minas Gerais, do Rio de Janeiro e do Rio Grande do Sul, mais tradicionais, e a Unesp, também apresentam desempenho relevante, internacionalmente. Recentemente, a Universidade Federal do ABC vem mostrando indicadores excelentes na produção científica.

Porém, o Brasil e a América Latina têm um longo caminho a percorrer: temas como governança, carreira docente e atração de jovens talentos de nível internacional, políticas de incentivo à pesquisa, colaboração internacional e outros aspectos da vida universitária precisam ser analisados em perspectiva comparada em relação a países e regiões (com o extremo oriente, por exemplo, que mostra sinais de grandes avanços nas últimas décadas). Para isso, os rankings são fontes de informação relevantes, indicando onde se deve buscar exemplos para tal empreitada, incluindo-se aí as jovens universidades sul-coreanas e outras ao redor do mundo.

Renato H. L. Pedrosa é coordenador do Laboratório de Estudos em Educação Superior (LEES) e professor do Departamento de Política Científica e Tecnológica, no Instituto de Geociências da Unicamp.

Leia mais: