A primeira listagem nacional de universidades surgiu nos Estados Unidos há pouco mais de três décadas. Foi feita pela então revista semanal U.S. News, que tem sede em Washington D.C, em 1983. A ideia, diz seu editor, o jornalista Bob Morse, no cargo até hoje, foi orientar especialmente alunos estrangeiros que buscavam, por meio de cartas à redação, informações sobre universidades norte-americanas. Ora, um norte-americano que pretendia entrar na universidade na década de 1980 até poderia conseguir informações subjetivas com família, amigos e professores. Mas o que dizer de chineses ou europeus que pretendiam fazer graduação naquele país? Vale dizer: um em cada quatro estudantes das universidades de elite dos EUA, tais como Harvard, MIT e Berkeley, são estrangeiros. Faltava um instrumento para orientá-los.

A ideia do ranking dos EUA foi seguida por outros países como a China, que iniciou o ranking nacional “Wo Shulian”, em 1987. Hoje, a literatura estima que existam cerca de 50 listagens universitárias nacionais feitas em 40 países, sendo que a maioria delas é produzida por grupos de mídia que publicam jornais e revistas como The Sunday Times e The Guardian (Reino Unido), Der Spiegel e Die Zeit (Alemanha), Reforma (México), U.S. News (Estados Unidos) e Maclean’s (Canadá) (Federkeil, van Vaught e Westerheijden, 2012, Hazelkorn, 2007 e Altabach, 2006). Há exceções como a Bulgária, cuja listagem é feita pelo governo federal daquele país (Georgieva, 2010); na China, na Espanha e na Holanda, os rankings nacionais são feitos por grupos de pesquisadores das próprias universidades (Bollag, 2006 e Waltman et al, 2010). Mas a maior parte é publicada anualmente por revistas e por jornais de todo o mundo. E, apesar de muito distintas entre si, as listagens giram em torno da análise daquilo que envolve a atividade universitária, como inputs e outputs relacionados à pesquisa acadêmica, ao ensino e à inovação tecnológica (Buela-Casal et al., 2007:359). O que muda é o peso dado a cada uma dessas atividades e como elas são mensuradas.

É nesse contexto, de elaboração de rankings universitários nacionais por grupos de mídia, que surge o Ranking Universitário Folha – RUF, publicado pela primeira vez em 2012. Hoje, rumo à sua quarta edição, o RUF avalia e classifica as 192 universidades brasileiras e se debruça também sobre as 40 carreiras com maior demanda do país, como medicina, direito e publicidade – aqui, considerando os cursos oferecidos por universidades, por centros universitários e por faculdades, que são as três categorias de instituições de ensino superior de acordo com o MEC. Ao todo, essas 40 carreiras contemplam 85% do total matriculado no ensino superior do país (cerca de sete milhões de pessoas).

Concentração sul-sudeste

Os resultados no Brasil são interessantes. No RUF 2014, é possível ver que as cinco melhores universidades do país, por exemplo, são públicas e estão do eixo sudeste-sul: USP, UFMG, UFRJ, UFRGS e Unicamp ocupam, respectivamente, as cinco primeiras posições. Entre as 25 primeiro-colocadas – o chamado “primeiro quadrante” ou “primeiro grupo” – há seis escolas nordestinas: as universidades federais de Pernambuco (11º lugar), Ceará (13º), Bahia (14º), Rio Grande do Norte (21º) e Paraíba (25º). Não há, no entanto, nenhuma escola da região Norte do país no primeiro quadrante: a primeira nortista é a Universidade Federal do Pará (29º lugar). Entre as 25 primeiro-colocadas, há apenas duas instituições privadas: a PUCRS (18º lugar) e PUC-Rio (20º lugar). E por aí vai.

Para construir sua metodologia e classificar as universidades brasileiras, o RUF visitou uma série de rankings universitários estrangeiros, trouxe alguns indicadores e criou outros. A ideia foi avaliar a universidade brasileira em suas atividades de ensino, de pesquisa e de extensão (funções da universidade determinadas pela Constituição de 1988), avaliar aspectos ligados à empregabilidade (muito importantes especialmente nas universidades da América Latina) e também analisar a internacionalização dessas instituições. Para tanto, desenvolveu cinco grupos de indicadores que somam 100 pontos: i) Pesquisa (42 pontos), ii) Ensino (32 pontos), iii) Internacionalização (18 pontos), iv) Inovação (4 pontos) e v) Mercado de Trabalho (4 pontos). Cada um desses cinco indicadores é composto por uma série de subindicadores; para avaliar ensino, por exemplo, a quantidade de docentes em tempo integral e o número de professores com doutorado no total docente são subindicadores levados em conta.

Para compor seus indicadores e subindicadores, o RUF 2014 utilizou dados coletados de bases do MEC (ano de 2012), da Thomsom Reuters – Web of Science (citações recebidas em 2012, artigos publicados em 2010 e 2011) e do Instituto Nacional de Propriedade Industrial – Inpi (patentes depositadas de 2003-2012). Tais dados foram coletados graças à Lei de Acesso à Informação, aprovada em 2011 e regulamentada em 2012 (ano da primeira edição do ranking). Para o RUF 2014 também foram conduzidas duas pesquisas nacionais pelo Datafolha, uma com docentes de todo o país e outra com o mercado de trabalho (responsáveis por contratações em empresas, setor público, escolas, hospitais e outras instituições), para compor os indicadores de ensino e de mercado de trabalho. Ao todo, o RUF 2014 traz mais de quatro milhões de campos de dados. É a mais ampla pesquisa periódica sobre ensino superior já realizada no Brasil.

O RUF foi também a primeira metodologia de ranking universitário, fora da América do Norte, da Europa ou da Ásia, apresentada, em 2013, ao IREG – Observatório de Rankings da Unesco, criado em 2003 com o objetivo de acompanhar e escrutinar as metodologias de ranqueamento de universidades ao redor do mundo – a maioria delas feitas por grupos de mídia. Essas avaliações de grupos de mídia são especialmente interessantes porque representam uma visão da sociedade sobre o objeto avaliado. Não é o governo avaliando as universidades, não são as próprias universidades se avaliando: é um jornal ou uma revista, veículos que têm, como seu objetivo primeiro, informar. E isso pode ajudar a formulação de políticas públicas. No Brasil, Luiz Cláudio da Costa, então presidente do Inep (Instituto Nacional de Pesquisas Educacionais), afirmou, em 2013, que as informações disponibilizadas pelo ranking iriam ajudar o governo na elaboração de políticas públicas. "O RUF está criando uma cultura de autoavaliação nas universidades que é muito positiva. Avaliar não tem o objetivo de punir, mas de entender o que está acontecendo.” (S/A, 2013).

No caso do RUF, a análise dos dados pode ser feita de maneira mais generalista ou detalhada, olhando para o ranking, para cada indicador ou para cada subindicador. Como exemplo disso, podemos destacar o caso da Universidade Federal do Pará – UFPA, que aparece em 29º lugar na classificação geral, mas sobe para 20º lugar especificamente no indicador de inovação (tem 3,32 pontos nesse indicador, que vale um total de 4 pontos). Em inovação, a UFPA passa na frente até mesmo de instituições como a Unifesp (14º lugar no ranking geral; 25º lugar no indicador de inovação). Ou seja, na UFPA, “inovação” vai melhor do que qualquer um dos outros quatro indicadores; o pior é o indicador de “ensino” (no qual a universidade fica em 44º lugar). Essa análise é especialmente interessante se considerarmos que 84 universidades brasileiras (44% do total) não pontuam no indicador de inovação, ou seja, não fizeram nenhum pedido de patente entre 2003 e 2012. Esse tipo de análise detalhada de uma universidade só é possível em rankings nacionais.

Rankings globais

Até o surgimento do RUF, “rankings universitários” eram assunto no Brasil quando uma universidade brasileira aparecia em algum ranking universitário global, que são aqueles que avaliam e comparam universidades de todo o mundo. De acordo com a literatura científica, estima-se que existam, hoje, cerca de dez rankings universitários internacionais. O primeiro deles, AWRU, conhecido como “Ranking de Xangai” porque é produzido por pesquisadores de universidade homônima, surgiu na China em 2003. O ranking tem base exclusivamente em dados bibliométricos, como quantidade de papers nos periódicos Science e Nature, ou de docentes com prêmio Nobel. No ano seguinte, em 2004, surge o britânico THE, com a novidade de ter incluído na análise critérios qualitativos. Hoje, 35% da nota que cada universidade recebe no THE integra o indicador de “reputação acadêmica”, levantado em questionário aplicado com cerca de 17 mil docentes de cerca de 150 países. Hoje, ARWU e THE são considerados pela literatura os principais rankings universitários globais.

O problema é que rankings universitários globais não dão conta de trazer um retrato do ensino superior brasileiro. Para se ter uma ideia, hoje não existe nenhuma universidade brasileira entre as 200 melhores do mundo de acordo com o THE 2014 (a USP é a primeira a aparecer, entre as posições 201 e 225). Já no ARWU, a mesma USP aparece entre as posições 101 e 150; não há mais nenhuma instituição nacional entre as 300 melhores. Como saber, então, como está o ensino superior do Brasil por meio de rankings? Isso só será possível se a listagem for nacional.

Assim como acontece com todos os rankings, a metodologia do RUF está em transformação constante, deve acompanhar mudanças do próprio ensino superior brasileiro e também deve mudar conforme novos dados puderem ser acessados. Hoje, por exemplo, não há dados compilados sobre as atividades de extensão das universidades brasileiras (como atendimentos hospitalares e consultorias jurídicas). Tampouco há informações sobre os recém-formados: sabendo onde estão e quanto ganham as pessoas que se formam nas escolas de ensino superior, seria possível avaliar o impacto delas na carreira dos ex-alunos. Essas informações poderão ser agregadas no futuro.

O RUF caminha para a quarta edição e, portanto, ainda não deu tempo para que a literatura tenha avaliado os seus impactos na decisão de alunos, na gestão das universidades e até mesmo em políticas públicas. Isso também deve acontecer no futuro. Fora daqui, alguns autores estudam os impactos das listagens na escolha das universidades por pais e por alunos (David, 2009, Bowman e Bastedo, 2009, Gunn e Hill, 2008, Meredith, 2004), outros se debruçam nas interferências dos rankings na gestão das próprias universidades, em uma linha encabeçada por Hazelkorn (2007), autora que mapeou, por meio de um survey internacional, como as listagens afetam a tomada de decisões de reitores e de presidentes em diferentes instituições de ensino superior do mundo. Outros, por fim, esmiúçam especificamente algumas listagens, como Meredith (2004) e Dishev (2001), que se debruçam sobre o ranking do U.S.News, EUA.

O que se sabe, hoje, é que a literatura científica é praticamente unânime ao afirmar que as listagens universitárias estão aí para ficar, que “rankings universitários são o tema do momento” (Dehon et al, 2009:1) e, ainda, que essas listagens ganharão cada vez mais força.

Sabine Righetti é jornalista, organizadora do Ranking Universitário Folha – RUF, autora do blog “Abecedário” (abecedario.blogfolha.uol.com.br), doutoranda e pesquisadora do Laboratório de Educação Superior da Unicamp.

Referências

Altbach, P.G. (2006). “The dilemmas of ranking”. International Higher Education 42 (Winter). 

Bollag, B. (2006). “Group endorses principles for ranking universities”. The Chronicle of Higher Education 52.40 (Jun 9, 2006). 

Bowman, N.; Bastedo, M. (2009). “Getting on the front page: organizational reputation, status signals, and the impact of U.S. News and World Report rankings on student decisions”. Research in Higher Education, August 2009, Volume 50, Issue 5, p.415-436. 

Buela-Casal, G.; Gutiérrez-Martínez, O.; Bermúdez-Sánchez, M.P.; Vadillo-Muñoz, O. (2007). “Comparative study of international academic rankings of universities”. Budapest Scientometrics, Vol. 71, nº. 3 p.349–365. 

Decatur, S. (2012). “Rankings can be useful, but also dangerous”. New York Times, september 28, 2012. Avaiable at: http://www.nytimes.com/roomfordebate/2012/09/26/colleges-by-the-numbers/college-rankings-can-be-useful-but-also-dangerous 

Dehon, C.; Jacobs, D.; Vermandele, C. (2009). “Rankings and research assessment in higher education: current and future challenges”. In: Dehon, C.; Jacobs, D. and Vermandele, C. (org) Ranking universities, 2009, Editions de L’Universite de Bruxelles, p.1-11. 

Dichev, I. (2001). “News or noise? Estimating the noise in the US News University rankings”. Research in Higher Education 42, p.237–266. 

Federkeil, G.; Van Vught F. A.; Westerheijden, D. F. (2012). “Classifications and rankings”. In Maassen, P. , Müller, J. (2012). Higher Education Dynamics, Vol. 37, 2012, p.25-37. 

Gilfillan, B. (2012). “I cringe when I hear the word ‘rankings’”. New York Times, september 28, 2012, Avaiable at: www.nytimes.com/roomfordebate/2012/09/26/colleges-by-the-numbers/i-cringe-when-i-hear-the-word-because-of-the-college-rankings 

Georgieva, P. (2010). “Introducing the university rating system in Bulgaria - purpose, methodology and first reactions”. Seminar – National University Rankings on the Rise. IREG (Observatory on Academic Ranking and Excellence) and ARRA (Academic Ranking and Rating Agency). Bratislava, Slovak Republic, 2010. 

Gunn, R;, Hill, S. (2008). “The impact of league tables on university application rates”. Higher Education Quarterly. Volume 62, nº. 3, July 2008, p.273–296 

Hakorn, E. (2007). “The impact and influence of league tables and ranking systems on higher education decision-making”. Higher Education Management and Policy 2007, 19/2, p.87–110. 

Meredith, M. (2004). “Why do universities compete in the ratings game? An empirical analysis of the effects of the US News and World Report college rankings”. Research in Higher Education 45(5), p.443–461. 

Pusser, B.; Marginson, S. (2012). “The elephant in the room: power, politics and global rankings in higher education”. In Bastedo, M. N. The organization of higher education: managing colleges for a new era. Baltimore: Johns Hopkins University Press, p.86-117. 

S/A (2013) “Inep elogia segunda edição de ranking universitário”. Folha de S. Paulo, 9 de setembro de 2013. www1.folha.uol.com.br/educacao/2013/09/1339192-inep-elogia-segunda-edicao-de-ranking-universitario.shtml 

Waltman, L.R.; Medina, C.; Kosten, J.; Noyons, E.C.M.;Tijssen, R.J.W.; Eck, N.J.P. van; Leeuwen, T.N. van; Raan, A.F.J. van; Visser, M.S.; Wouters, P. (2012). The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation. Centre for Science and Technology Studies, Leiden University.