Diversos são os indicadores que avaliam a produção científica através da divulgação dos resultados das pesquisas entre os pares, a publicação científica: número de citações de artigos, índices de visibilidade das revistas, critérios de indexação em uma determinada base de dados e rankings de qualidade dos periódicos. Dentre esses indicadores, um dos mais cultuados é o fator de impacto, criado pelo Institute for Scientific Information (ISI), da empresa Thomson Reuters, à qual também pertencem as bases de dados Science Citation Index (que engloba todas as áreas do conhecimento), Social Science Citation Index (que contempla os periódicos das áreas das ciências sociais) e Arts and Humanities Citation Index (com revistas relacionadas às artes e humanidades).

O fator de impacto é calculado a partir do número de citações que os artigos de um periódico receberam no ano corrente dividido pelo total de artigos publicados nos últimos dois anos. Somente são considerados os artigos de periódicos indexados nas bases do ISI e que foram citados em periódicos também indexados. Para uma revista ser indexada, ela deve atender a diversos critérios, entre eles diversidade internacional de autores que publicam e de autores citados e presença de título, resumo e palavras-chave em inglês.

A utilização do fator de impacto como métrica de avaliação da pesquisa vem sendo adotada de maneira crescente pelas agências de fomento. Esse uso está mais estabelecido nas ciências exatas e biológicas, mas o fator de impacto também já vem sendo adotado em algumas áreas das ciências humanas. A ideia é que a publicação de uma pesquisa em um periódico com fator de impacto alto significa um selo de qualidade, além de ser um índice de internacionalização da ciência brasileira, uma das principais metas da política científica nacional no momento.

Como forma de medir a produção em ciências humanas, o fator de impacto é ainda pouco relevante. Apenas 18 revistas brasileiras são indexadas ao Social Science Citation Index e nem todas são estritamente de humanas (várias são da área de saúde, por exemplo). Há ainda a possibilidade do pesquisador publicar em revistas internacionais já indexadas, mas será necessário passar pela seleção do periódico, e nem tudo que se produz aqui e é significativo para o nosso país será necessariamente considerado relevante internacionalmente.

Sobre os limites para a publicação em periódicos internacionais, a professora Gladis Massini-Cagliari, do Departamento de Linguística da Universidade Estadual de São Paulo (Unesp) cita o exemplo de sua pesquisa: “Meu trabalho é uma espécie de arqueologia do som, para tentar descobrir como era a sonoridade do português arcaico. É muito difícil que alguém de países não lusófonos se interesse por esse tipo de pesquisa. Para internacionalizar a pesquisa, eu focalizo na metodologia, que é inovadora. Se eu focalizar no corpus, que é o português arcaico, eu não consigo publicar”. Ela ainda destaca que a dificuldade é maior em casos onde a metodologia já está estabelecida – ou seja, não é inovadora – e o objeto de pesquisa não tem relevância internacional.

O sistema responsável pela avaliação das revistas no Brasil é o Qualis Periódicos, coordenado pela Capes, que ordena as revistas nacionais em oito estratos (A1, A2, B1, B2, B3, B4, B5 e C), sendo que os superiores normalmente exigem indexação em bases nacionais e internacionais. A base nacional mais conceituada é o SciELO, que tem o seu próprio indicador de citações, o SciElo Citation Index. Dependendo da área, exige-se a indexação ao ISI, como no caso da administração, onde o periódico A1 deve ter fator de impacto maior que 1,0 ou Índice H da base Scopus maior que 20. Para as ciências sociais, aceitam-se outras bases internacionais além dessas, como a Sociological Abstracts e Antropological Index. Mas há casos onde a indexação internacional não é exigida, como nas artes e na música. Outros critérios adotados pelo Qualis são a periodicidade e regularidade da publicação, o corpo editorial, a diversidade institucional dos autores e a presença de autores estrangeiros, entre outras.

“Mas o que eu acho mais importante para as ciências humanas é que talvez a nossa melhor produção não seja veiculada nas revistas. Normalmente, a melhor produção é veiculada em livros”, analisa Massini-Cagliari. “A produção ainda é individual, é resultado de muitos anos de trabalho. Só recentemente começou a existir a prática de escrever artigos em conjunto, de ter grandes projetos de pesquisa”, diz a pesquisadora, lembrando que para outras áreas essas práticas já estão estabelecidas. A professora da Unesp ainda ressalta as diferenças de tempo e profundidade das pesquisas. Em ciências humanas, é comum que uma revisão bibliográfica demande voltar até os filósofos gregos da antiguidade, enquanto nas áreas das ciências exatas e biológicas, o chamado “estado da arte” de uma questão pode ser descrito rapidamente, principalmente nas pesquisas de tecnologia de ponta.

A produção de livros foi negligenciada durante muitos anos no processo de avaliação da pós-graduação, resultado da adoção como padrão de práticas comuns às ciências exatas e biológicas. Mas em 2009, foi lançado pela Capes o Roteiro para a Classificação de Livros, que, a partir de 2010, passou a fazer parte da avaliação. No entanto, esse é um processo com desafios ainda maiores do que a avaliação de periódicos.

Enquanto a publicação em revistas é avaliada pelo periódico em si e não por cada artigo, os livros precisam ser analisados individualmente: “Cada livro tem um comitê editorial diferente, um conteúdo diferente, editora diferente. Então, a rigor, cada livro é resultado de uma unidade”, explica Massini-Cagliari. Ler cada um dos livros para avaliá-los, provavelmente, seria uma tarefa impossível. Segundo o relatório da última avaliação trienal da área de comunicação, foram analisados 926 livros. Um dos critérios de avaliação diz respeito à autoria: se é autoria única de obra integral, se há coautoria com docentes de outras instituições ou estrangeiros, se há participação de aluno (o que diminui a pontuação). As editoras também têm grande importância no processo, verificando-se se elas têm tradição em publicar pesquisas, sejam universitárias ou comerciais.

Apesar de se considerar critérios para a avaliação que consideram as especificidades das ciências humanas, o uso de indicadores quantitativos podem estar causando efeitos colaterais não desejáveis. A pressão pela internacionalização e a medição da qualidade da ciência através da produtividade está apressando o ritmo das publicações, resultando na profusão de artigos pouco relevantes ou de livros que são simplesmente um agrupamento de artigos sem uma linha mestra de conteúdo. O desejo por publicar em periódicos internacionais também leva à desvalorização de temas de importância nacional ou regional, necessários ao país, como na área de economia.

“O crescimento (de publicações) é real e visto por muitos como o sinal de pujança ou de robustez. Não penso assim, e vejo, ao contrário, um sinal da distorção do taylorismo intelectual em vigência nas academias e patrocinado pelas agências”, analisa Ivan Domingues, professor da Faculdade de Filosofia e Ciências Humanas da Universidade Federal de Minas Gerais (UFMG), associando à produção científica uma expressão ligada ao modelo de produção industrial proposto por Frederick Taylor. “O resultado é o publish or perish (publicar ou perecer), com todo mundo querendo por uma linha a mais no (currículo) Lattes, multiplicando os papers e, por tabela, as revistas para dar vazão à produção inflada, e cada curso de pós-graduação editando a sua revista e publicando seus próprios artigos”.

No entanto, Domingues considera importante a existência de indicadores quantitativos. “Na ausência deles, jamais poderíamos ter uma ideia precisa da situação existente, fazer as comparações e estabelecer os corretores de rota. Teríamos opiniões e as opiniões são subjetivas e voláteis”. Porém, ele observa que os indicadores em si não são evidentes e auto-explicáveis. “Eles devem ser interpretados em peças analíticas, como relatórios, combinados com outros métodos, como séries históricas, submetidos a consultorias ad hoc e passar pelo crivo de comitês”.

Da mesma forma que os indicadores quantitativos não devem ser a única forma de avaliar a produção científica, a internacionalização não precisa passar necessariamente pelo inglês, a atual língua franca da ciência. Existem outros caminhos, que podem ser mais interessantes para o desenvolvimento das ciências humanas no Brasil, como a aproximação com grupos de pesquisa de países de língua portuguesa e da América Latina, cujos problemas e interesses estejam em maior consonância com a realidade brasileira.