REVISTA ELETRÔNICA DE JORNALISMO CIENTÍFICO
Dossiê Anteriores Notícias Reportagens Especiais HumorComCiência Quem Somos
Dossiê
Editorial
O discurso dos indicadores de C&T e de sua percepção - Carlos Vogt e Ana Paula Morales
Reportagens
Métricas da produção científica
Chris Bueno
Pesquisa e desenvolvimento: quais os entraves no Brasil?
Janaína Quitério
Brasil é referência em acesso aberto, mas faltam políticas integradas
Patrícia Santos e Kátia Kishi
Indicadores quantitativos e as ciências humanas
Ana Paula Zaguetto
O desafio de contabilizar ações de divulgação da ciência e os impactos gerados
Simone Caixeta de Andrade
Artigos
O Qualis e a rotina editorial dos periódicos científicos
Mônica Frigeri e Marko Monteiro
Cultura dos indicadores em Ciência, Tecnologia e Inovação: panorama da produção científica nacional
Cristina Haeffner, Sonia R. Zanotto e Jorge A. Guimarães
Quando a sociedade é quem avalia: a experiência do Ranking Universitário Folha e os indicadores de ensino superior
Sabine Righetti
Inovação, como medir?
Maíra Baumgarten e Leonardo Santos de Lima
Resenha
A refutação de um argumento: Cabeças e sentenças
Roberto Takata
Entrevista
Rogério Meneghini
Entrevistado por Tatiana Venancio
Poema
Poemarketing
Carlos Vogt
Humor
HumorComCiencia
João Garcia
    Versão para impressão       Enviar por email       Compartilhar no Twitter       Compartilhar no Facebook
Artigo
Cultura dos indicadores em Ciência, Tecnologia e Inovação: panorama da produção científica nacional
Por Cristina Haeffner, Sonia R. Zanotto e Jorge A. Guimarães
10/03/2015
  1. Sobre o valor da ciência

Ciência e Tecnologia (C&T) são componentes inseparáveis de um processo que subsidia o desenvolvimento tecnológico, constituindo as bases para a inovação empresarial, o progresso e o vigor econômico de muitas nações. Na base desse progresso está o salto de produtividade científica alcançado no século XX e que segue sendo crescente ao longo deste novo século. Com efeito, os avanços proporcionados pela pesquisa científica e tecnológica com visibilidade mundial possibilitou resolver problemas específicos e funcionais em diversos setores, inseriu no mercado produtos de alta tecnologia e resultou em inúmeros incrementos econômicos e sociais mundo afora, proporcionando, direta ou indiretamente, considerável melhoria da qualidade de vida dos cidadãos.

A propósito desses avanços, vale inquirir: afinal, quantos países desenvolvem atividades destinadas à geração de novos conhecimentos científicos? A norma ISO 3166-1(1) lista 246 países e a Web of Science (InCites, Thomson Reuters) lista na sua base de dados 226 países. No conjunto, foram produzidos no período 2009 – 2013 mais de 8,5 milhões de artigos científicos. O dado confirma que todos os países, independentemente do seu estágio de desenvolvimento, vêm buscando participar do processo de geração de conhecimentos novos e, em consequência, ocupar posição no ranking mundial da ciência. Isto ocorre porque a inserção dos países entre os produtores de tecnologias inovadoras depende da produção de conhecimentos científicos novos, o que possibilita desenvolver um planejamento estratégico para subsidiar o sistema produtivo das nações. Tal condição é circunstância inerente às nações já desenvolvidas, mas tem especial aplicabilidade para aquelas em estágio de desenvolvimento. De fato, o financiamento da pesquisa científica em todo o mundo tem o objetivo maior de alicerçar o desenvolvimento dos países, e não de alimentar a possível vaidade dos cientistas como muitas pessoas pensam.

Não obstante constatar-se que tantas nações estejam participando da comunidade científica, apenas um pequeno grupo de 24 países contribui, cada um, com a produção de pelo menos 1% da produção científica mundial, e cuja produção conjunta responde por 84,1% do total de artigos de todas as áreas em todo o mundo. Também é de se constatar que há nesses 24 países uma elevada correlação entre a posição ocupada no ranking mundial do PIB e a posição no ranking da ciência. Tal fato permite perceber que a riqueza das nações tem relação direta com a capacidade científica de gerar conhecimentos novos.


2. Indicadores quantitativos e qualitativos em CT&I

Sabidamente a publicação do artigo científico é o corolário do desenvolvimento do projeto de pesquisa individual, e o conjunto das publicações de uma instituição tem direta relação com sua qualificação educacional e capacitação científico-tecnológica. Estendido aos países o volume e a qualidade dessas publicações, constituem seguro indicador da sua pujança econômica. E não é sem razão que a grande maioria desses países desfruta também dos mais elevados níveis de desenvolvimento social. Ressalte-se, todavia, que em qualquer área do conhecimento, o volume de publicações é diretamente proporcional ao tamanho da comunidade de pesquisadores atuando naquela área. O Brasil possui 350 mil professores universitários e produz mais de 36 mil artigos científicos indexados por ano. Essa relação (0,1 artigo qualificado/docente/ano) mostra que o volume da produção é equivalente ao número de pesquisadores e, como se verá adiante, da capacidade do país de formar novos recursos humanos em C&T, e não do seu total de docentes universitários.

Vem daí a grande dispersão observada na produção científica mundial, quer seja em relação aos campos de pesquisa, quer seja em relação à produção de cada país. Embora essa dispersão também ocorra no componente qualitativo em relação às áreas do conhecimento, o Fator de Impacto (FI), que indica o índice de citações da produção científica de um pesquisador, instituição ou país, é menos dependente do tamanho da comunidade científica. A matemática é um bom exemplo: a mediana do FI das revistas de matemática é muito menor do que o das revistas das outras ciências exatas (física e química), e mais ainda das revistas médicas e biomédicas.

De fato, esse componente qualitativo é mais dependente de outros fatores em que uma publicação venha a impor um repensar sobre o conhecimento existente naquela área, vindo daí o conceito de inovação científica (break through) e da qualidade dos artigos, resultando também no maior ou menor volume de citações e, em consequência, o índice cienciométrico bastante usado, o FI que identifica o componente qualitativo daquele artigo, daquele campo do conhecimento e, em consequência, das revistas da área. Países como Israel, Áustria, Escócia, Irlanda, Bélgica, os países nórdicos e alguns outros com relativamente baixa produção quantitativa, mas com elevados índices no FI e no padrão de vida, são exemplos da dicotomia quantitativo-qualitativo.

Sabe-se também que o FI é altamente influenciado pelo grau de colaboração científica internacional que os artigos carregam, e isto resulta do conhecido fato de que a coautoria nas publicações, sobretudo com pesquisadores dos países mais destacados na ciência mundial, resulta em um substancial aumento do número de citações daquela publicação. Mas destaque-se também que, nesses casos, a coautoria internacional favorece e distorce a percepção do componente qualitativo quando aplicado aos países com muito baixa produção científica.


3. Sobre a cultura e uso dos indicadores

Estamos, pois, tratando de dois fundamentais componentes da cultura dos indicadores cienciométricos: a produção quantitativa de artigos e seu componente qualitativo, que inclui, além do FI, vários outros indicadores, geralmente de uso mais restrito, como a vida média dos artigos na literatura internacional, o qual indica o tempo de duração e a importância da inovação científica (break through) representada naquela publicação. Apesar da existência de um inerente grau de limitação para a utilização dos indicadores de produtividade científica, ainda assim, eles constituem ferramentas indispensáveis na avaliação da maturidade de uma comunidade científica por permitirem comparações nas bases de dados internacionais com os componentes quali-quantitativos da ciência mundial.

Assim, os indicadores científicos, hoje plenamente disponibilizados nas bases de dados internacionais, representam uma nova fase na conceituação e valoração da ciência, reforçando o processo de avaliação pelos pares, o monitoramento por setores, propiciando o emprego de racionalidade na utilização dos recursos humanos e materiais e orientando, ademais, a formação e capacitação de novos recursos humanos e a conjugação de esforços para propor e induzir ações para o enfrentamento de demandas prioritárias para o desenvolvimento dos países nas áreas do conhecimento que lhe são facilitadoras da exploração de vantagens comparativas.

Ainda que, recentemente, venham surgindo críticas ao uso dos indicadores de CT&I, especialmente dirigidas aos casos específicos de avaliação de indivíduos para cargos e concursos, tais críticas não se fazem acompanhar de sugestões de aplicabilidade específica de outros indicadores que possam ser considerados mais apropriados e precisos. Com frequência tais críticas se limitam a sugerir que a qualidade de uma publicação científica deva ser avaliada e apreciada a partir da leitura do artigo. Ora, é exatamente isto que fazem mundo afora, os milhares de revisores das revistas especializadas sérias, ou seja, a recomendação da publicação referendada pela avaliação dos pares, aliás, a única forma possível de qualificar uma determinada publicação.

Na verdade, como mostra a figura 1, ao longo dos últimos 20 anos houve extraordinário crescimento dos estudos cienciométricos baseados, sobretudo, nesses dois parâmetros aplicados ao desenvolvimento científico. Assim, a figura 1 confirma que os milhares de estudos cienciométricos e a cultura do estudo da cienciometria estão plenamente estabelecidos como instrumentos de quantificação e qualificação da ciência em todo o mundo.


http://www.labjor.unicamp.br/imagens/img1_arjorge.jpg

Número de documentos(2) (artigos e revisões) publicados nos quinquênios indicados e indexados no tema cienciometria e listados na base Web of Science. Fonte: Web of Science – Thomson Reuters. Acesso em: 1 mar. 2015.

 

A comparação da produção científica entre áreas do conhecimento e, sobretudo, entre os países por meio da cienciometria, tem como base o levantamento e qualificação dos inúmeros trabalhos acadêmicos buscando relacionar o desempenho científico com o atual contexto socioeconômico. Identificamos em artigos anteriores essas características na área médica e biomédica (Guimarães, 2004) e nas engenharias (Guimarães, Oliveira e Prata, 2007) no Brasil.

Acredita-se que, conhecendo as características da produção científica, seja possível revelar as potencialidades do país em relação ao resto do mundo, o que pode orientar o investimento no desenvolvimento de áreas estratégicas. Esse conceito se aplica especialmente para os países em estágio de desenvolvimento emergente, como é o caso do Brasil. De fato, como mostra a figura 2, ao longo das últimas três décadas, o Brasil vem obtendo extraordinário crescimento na produção de artigos científicos indexados, publicados em periódicos de qualificação internacional (Almeida e Guimarães, 2013).

A figura 2 mostra claramente que o crescimento relativo da produção brasileira é cerca de 6 vezes maior do que o crescimento mundial. Fenômeno semelhante vem ocorrendo com outros países emergentes, a saber: China, Coréia do Sul, Irã, Turquia, Taiwan, Cingapura, além de outros (Almeida e Guimarães, 2013). Fruto desses avanços, esses países, assim como o Brasil, passaram a ocupar, recentemente, posição mais destacada no ranking mundial da ciência, com equivalentes desdobramentos na obtenção de resultados tecnológicos, como é o conhecido caso da Coreia do Sul. O Brasil ocupa, nesse ranking, desde 2009, a 13ª posição, produzindo 2,7% da produção mundial de artigos científicos, e pode-se apontar como tais desdobramentos a conquista de extraordinários avanços técnico-científicos na agricultura, medicina tropical, automação bancária, produção de aeronaves, tecnologia de extração de petróleo em águas profundas,  indústria de papel e celulose, controle biológico de pragas, odontologia, biotecnologia animal e vegetal, produção de biocombustíveis e em outros setores. Há ainda outras formas de identificar o impacto da ciência em nosso país como mostrado por De Meis, Arruda e Guimarães (2007).


  http://www.labjor.unicamp.br/imagens/img2_arjorge.jpg
Índice relativo de crescimento da produção científica brasileira e do mundo. Fonte: Incites – Thomson Reuters. Acesso em: 1 mar. 2015.

 

O crescimento da produção científica brasileira tem relação com três importantes ingredientes: a produção das teses de doutorado, a implantação do Portal de Periódicos da Capes e a crescente indexação das revistas científicas brasileiras nas bases de dados internacionais, a saber, o JCR da Thomson Reuters e Scopus da Elsevier.

Como mencionado anteriormente, a capacidade de gerar novos recursos humanos, vale dizer, pesquisadores no nível de doutorado, mantém estreita relação com a nossa produção científica. Com efeito, verifica-se que o tamanho da produção científica nacional é proporcional ao número de novos pesquisadores formados, como ilustra a figura 3, ou seja, atualmente cerca de 2,5 artigos por tese defendida. Essa intrínseca inter-relação tem sido também reconhecida previamente em áreas específicas (Coutinho et al., 2012).

A inter-relação da produção científica com a formação de recursos humanos tem especial significado no Brasil devido à existência de seu forte modelo de pós-graduação (Guimarães e Humann, 1995; Guimarães e Almeida, 2013). De fato, ocorre que, i) nosso desempenho em ciência é quase todo feito nos cursos de pós-graduação; ii) a conceituação dos cursos depende da qualidade da produção científica dos docentes-orientadores e de seus orientados. A crítica internacional sobre o uso de indicadores quali-quantitativos aqui cai por terra porque a missão da avaliação da pós-graduação é garantir uma boa formação para os mestres e doutores titulados e isso se mede pelo desempenho dos cursos, aí incluídas em especial suas publicações; iii) a avaliação da pós-graduação mede desempenho coletivo dos professores, orientadores e alunos, não se atendo a uma avaliação de indivíduos, principal fonte das mencionadas críticas.


http://www.labjor.unicamp.br/imagens/img3_arjorge.jpg

Número de titulados doutores no Brasil x produção científica indexada (1987-2013). Fonte: Geocapes/Capes e Incites – Thomson Reuters. Acesso em: 1 mar. 2015.

 

Vale ainda considerar que, na avaliação da pós-graduação, sempre feita tomando em conta o desempenho dos atores dos cursos nos três anos anteriores, o componente qualitativo mais importante é o Fator de Impacto das revistas, porque sabidamente artigos recentes ainda não desfrutam de número significativo de citações e que o prestígio das revistas científicas resulta exatamente da perspectiva de que seus artigos serão mais lidos e mais citados. Isso tem especial importância nas revistas especializadas dos inúmeros campos do conhecimento e da pesquisa em que se divide a ciência contemporânea.

Papel crucial no avanço quali-quantitativo da produção científica brasileira deve ser atribuído ao advento do Portal de Periódicos da Capes, concebido e estabelecido no ano 2000. A existência do Portal veio compensar a juventude do nosso sistema de C&T, possibilitando a integração da atividade científica brasileira com a mundial, e indicando o grau de competição entre as áreas e países, e abrindo perspectivas de exploração por nossos cientistas de oportunidades de pesquisa em novas áreas como bioenergia, materiais, nanotecnologia e agricultura moderna, preocupações que estão no núcleo dos problemas científicos contemporâneos. O acervo do Portal vem crescendo significativamente desde 2004 (Almeida, Guimarães e Alves, 2010), oferecendo à comunidade científica brasileira a possibilidade de crescente acesso à bibliografia internacional atualizada diariamente. Essa facilidade tem sido a base da garantia da produção científica mais qualificada, como visto ocorrer com o extraordinário crescimento recente da produção de artigos de revisão produzidos por autores brasileiros, o que requer pleno acesso à literatura internacional atualizada (Almeida e Guimarães, 2013).

O outro fator importante que favoreceu o crescimento da nossa produção científica foi o esforço para indexação nas duas bases de dados internacionais de um total de cerca de 100 revistas brasileiras indexadas a partir de 2008. A figura 4 ilustra tal crescimento na base de dados da Thomson Reuters. Verifica-se que, antes de 2008, o número de revistas brasileiras indexadas nessa base era extremamente baixo, quando já se constatava, à época, um distinto desempenho da ciência brasileira. Assim, pode-se dizer que a indexação de nossas revistas foi conquistada a partir da demonstração do vigor da nossa ciência nos últimos 30 anos. A assinatura pela Capes do acervo do Portal de Periódicos, e a atuação conjunta com diversos editores de revistas brasileiras, foram também fatores positivos nessa conquista.

http://www.labjor.unicamp.br/imagens/img4_arjorge.jpg
Número de periódicos brasileiros indexados na base Web of Science (2004-2013) Fonte: JCR - Thomson Reuters. Acesso em: 1 mar. 2015.

           
O resultado desse esforço é a produção de dados que se incorporem aos processos de avaliação e planejamento em várias escalas, podendo ser usado como base para a adoção de políticas públicas de incentivo à pesquisa científica e à gestão tecnológica.

 

Cristina Haeffner, curso de pós-graduação em Química da Vida e Ciências da Saúde (PPGQVS), Universidade Federal do Rio Grande do Sul (UFRGS). Bolsista do programa Pronametro/Inmetro; mestranda do PPGQVS/UFRGS.

Sonia R. Zanotto, curso de pós-graduação em Química da Vida e Ciências da Saúde (PPGQVS), Universidade Federal do Rio Grande do Sul (UFRGS). Bibliotecária do IBGE-RS; doutoranda do PPGQVS/UFRGS.

Jorge A. Guimarães, curso de pós-graduação em Química da Vida e Ciências da Saúde (PPGQVS), Universidade Federal do Rio Grande do Sul (UFRGS). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Capes, Ministério da Educação. Professor do PPGQVS/UFRGS e pesquisador do Centro de Biotecnologia, UFRGS.

 

Notas
1 – ISO (International Organization for Standardization)3166-1 é parte da norma ISO 3166, que sugere códigos para os nomes de países e dependências.
2 – O número de documento se refere ao resultado da busca: Scientometric* OR Bibliometric* OR Informetric* OR Webmetric*.

 

Referências
Almeida, E.C.E.; Guimarães, J.A.; Alves, I.T.C. (2010). “Dez anos do Portal de Periódicos da CAPES: histórico, evolução e utilização”. Revista Brasileira de Pós-Graduação 7, 218 – 246.
Almeida, E.C.E.; Guimarães, J.A. (2013). “Brazil’s growing production of scientific articles – how are we doing with review articles and other qualitative indicators?” Scientometrics 97, 287 – 315.
Coutinho, R.X.; Dávila, E.S.; Santos, W.M., Rocha, J.B.T.; Souza, D.O.G.; Folmer, V. (2012). “Brazilian scientific production in science education”. Scientometrics 92, 697-710.
De Meis, L.; Arruda, A.P.; Guimarães, J.A. (2007). “The impact of science in Brazil”. IUBMB Life, 59, 227-234.
Guimarães, J.A. (2004). “A pesquisa médica e biomédica no Brasil. Comparações com o desempenho científico brasileiro e mundial”. Ciência e Saúde Coletiva 9, 303-327.
Guimarães, J.A.; Humann, M. (1995). ”Training of human resources in science and technology in Brazil: the importance of a vigorous post-graduate program and its impact on the development of the country”. Scientometrics 34, 102 - 119.
Guimarães, J.A.; Oliveira, J.G. e Prata, A.T. (2007). “Engenharia e desenvolvimento no Brasil: desafios e perspectivas”. Parcerias Estratégicas CGEE, Volume 25.