“Investimos 5% do faturamento em pesquisa e desenvolvimento”; “aplicamos 1% da receita fiscal do estado em ciência e tecnologia”; “o país investe 1% de seu PIB em C&T”... Estas métricas são cada vez mais comuns e mais conhecidas no mundo da pesquisa científica e da inovação tecnológica, assim como no mundo da burocracia, do planejamento e das políticas públicas de CT&I.

Na outra ponta do esforço, métricas tais como: “publicamos 3% da produção científica mundial”; “depositamos 0,05% das patentes nos EUA”; 38% das empresas produziram inovação de produto e processo” etc, são métricas de output (resultado) igualmente frequentes e cada vez mais comuns.

Inputs e outputs vão e vêm e nos dão indicações aproximadas do quão importantes ou desimportantes estamos nos sistemas de CT&I. Acabam também sendo usados para avaliar a capacidade de desenvolvimento econômico e social: indicadores elevados dessas métricas são considerados “bons”, quase proxies de boa política, boa estratégia, bom caminho. E podem mesmo ser... ou não.

Agências de fomento, empresas, secretarias estaduais e ministérios compilam indicadores de input (esforço) que tendem cada vez mais a ser comparáveis aqui e lá fora. Isto é bom porque faz pouco tempo não tínhamos indicadores sistemáticos que permitissem aquilatar nosso esforço de pesquisa e de inovação. Nessa matéria, o Brasil avançou nos últimos 15 anos.

Não obstante os avanços, acostumamo-nos mal com indicadores típicos de esforço e outros que, no máximo, são proxies e acabam sendo usados como dados de impacto – e não o são. Impacto é uma medida diferente de resultado. Impacto é o efeito ou consequência que o resultado traz. Medi-lo não é tarefa simples, por vários motivos, sendo que um deles dificulta sobremaneira o trabalho: a atribuição da causalidade. Em outras palavras, como afirmar que o investimento em pesquisa foi mesmo responsável pelo faturamento de uma empresa, por uma inovação incremental (ou mesmo radical), pelo florescimento de um setor, pela introdução de uma política pública, pelo ganho na renda e, mais difícil ainda, pela qualidade de vida? Haja método para tanta correlação.

Um segundo desafio metodológico da mensuração de impactos é a chamada multidimensionalidade. Em breve, multidimensionalidade refere-se a mensurar impactos de mais de uma dimensão simultaneamente: econômica, social, ambiental, capacitação, político-institucional etc.. Esta é uma tendência dos métodos de avaliação em todo o mundo.

Finalmente, vale destacar um terceiro desafio, não menos importante, que é o de não ser trucidado pelos avaliados quando for mostrar os resultados do trabalho de avaliação. O antídoto, aqui, é o de fazer com que os avaliados e demais interessados participem do processo de construção do método, dando palpites, sugerindo indicadores e métricas e, sobretudo, acompanhando o trabalho para depois não dizer algo como “não era isto que deveria ter sido avaliado”, ou “como foi que vocês chegaram a esses números”. Comparado aos dois primeiros desafios, este último é mais fácil de resolver, mas jamais será totalmente superado, assim como os demais.

Em trabalhos recentes de avaliação de impactos, conduzidos pelo Grupo de Estudos sobre Organização da Pesquisa e da Inovação (Geopi)¹, temos enfrentado, com ajuda de colegas de outras instituições, esses desafios metodológicos.

Dos trabalhos mais importantes destaca-se a avaliação dos programas da Fapesp. Por iniciativa do conselho administrativo da Fundação, um conjunto de estudos de impactos teve início em 2007. A ideia da Fapesp é justamente a de medir efetivamente impactos dos investimentos realizados em seus programas.

Os primeiros programas avaliados entre 2007 e 2009 foram o Pipe - que aporta recursos para pesquisadores em pequenas empresas visando finalização de desenvolvimentos tecnológicos direcionados à inovação; o Pite - que fomenta projetos de pesquisa entre empresas e instituições de ciência e tecnologia (ICTs), o Jovem Pesquisador - que estimula lideranças científicas em centros ou em temas emergentes; e o programa de Pesquisa em Políticas Públicas, cujo objetivo é o de aproximar organizações formuladoras e executoras de políticas da pesquisa acadêmica.

Estes quatro programas foram avaliados em termos de seu impacto em diferentes dimensões, usando dados secundários e primários, estes últimos baseados na construção e aplicação de questionários estruturados e dirigidos a diversos grupos envolvidos nos programas. Foram sete tipos de questionários para os quatro programas.

Os resultados da avaliação mostraram, de forma geral, impactos positivos em todas as dimensões. O trabalho, ao final, subsidiou reformulações nos programas buscando organizá-los para alcançarem maior impacto.

Os programas Pite e Pipe, por lidarem com empresas, foram avaliados, sobretudo, em seus aspectos de impacto na inovação e no fortalecimento das relações universidade empresa (Pite) e no crescimento e sucesso de pequenas empresas de base tecnológica (Pipe).

A avaliação de impactos permitiu conclusões muito interessantes, que a simples obtenção de dados de input e output não permitiria. Por exemplo, numa amostra de mais de duzentas empresas que se utilizaram de recursos financeiros do Pipe, as mais bem sucedidas em termos de geração de inovações e de crescimento do faturamento foram empresas que não estiveram incubadas, o coordenador do projeto tinha vínculo forte com a empresa (era sócio), boa parte delas eram spin-offs de outras experiências empreendedoras e não haviam sido criadas para concorrer aos recursos do Pipe. Eram também empresas que tinham mais vínculos com ICTs.

Ademais, a avaliação de custo benefício do investimento Fapesp no Pipe mostrou um retorno de cerca de 6 reais para cada real investido. São dados que permitem à Fapesp mensurar continuamente e redirecionar o programa sempre que necessário, alimentando, inclusive, os critérios de avaliação de mérito das propostas, já que a avaliação de impactos, sempre ex-post, alimenta as próximas avaliações de mérito, sempre ex-ante.

No caso do Pite, os projetos avaliados mostraram que o programa estimulou novas parcerias entre empresas e ICTs (cerca de 75% das empresas envolvidas passaram a se relacionar de forma mais intensa e frequente com ICTs). Mostrou ainda que 40% das empresas que não tinham como rotina estabelecer contato com ICTs passaram a fazê-lo, graças ao Pite. Por outro lado, o programa e seus projetos pouco alavancaram de inovação junto às empresas e as tecnologias resultantes dos projetos das pesquisas pouco foram incorporadas pelas empresas. Houve aumento de interesse por pesquisa, mas quase sempre executada nas ICTs e com baixo impacto junto ao core business das empresas envolvidas. Este ponto a Fapesp já vinha revisando quando começou a estimular o Pite na modalidade Convênio, que envolve, de forma mais efetiva, a participação das empresas na definição dos projetos e prioridades. De toda forma, a avaliação redirecionou alguns critérios do programa, de maneira a torná-lo mais efetivo em seus impactos.

A avaliação do programa Jovem Pesquisador (JP) trouxe revelações muito interessantes: a análise das variáveis utilizadas demonstrou que os JPs mais produtivos e que mais contribuíram para a criação de grupos emergentes de pesquisa foram aqueles localizados fora do eixo geográfico principal (fora de São Paulo, Campinas, Ribeirão Preto, São José dos Campos e Piracicaba) e que estavam sediados em universidades privadas. Este resultado da avaliação foi um choque e revelou um aspecto que ninguém até então conhecia: há vida inteligente fora do mainstream institucional do estado, basta estimulá-la corretamente.

Finalmente, no programa de Políticas Públicas (PP), a avaliação de impactos mostrou que 84% dos projetos levaram a inovações em políticas públicas junto a 127 municípios do estado de São Paulo, sendo que os projetos originais estavam concentrados em apenas 23 municípios. Isto revelou que os projetos, embora de âmbito municipal, tinham spillovers para outros municípios, numa proporção de mais de 5 para 1.

Passada essa fase, estamos agora trabalhando na avaliação de mais 3 programas: o primeiro(não exatamente um programa) são as bolsas de iniciação científica, mestrado e doutorado que a Instituição concedeu nos últimos 15 anos. São cerca de 60 mil bolsas que estão sendo avaliadas segundo seu impacto na trajetória profissional do bolsista e segundo seu impacto na produção técnico-científica, acadêmica e de inovação. Trata-se de um esforço que complementa outro já concluído pela Fapesp há 3 anos, sob liderança do professor Geraldo Giovanni, do Instituto de Economia, da Unicamp. Na presente avaliação está sendo empregado método quasi-experimental, comparando trajetórias de bolsistas com não bolsistas em condições semelhantes. É um esforço e tanto da Fapesp para poder planejar e melhor informar a sociedade sobre os efeitos socioeconômicos de seus investimentos.

Os outros dois programas agora sob avaliação, o Biota e o programa de Equipamentos Multiusuários, estão sendo vistos também sob metodologia quasi-experimental, com grupos de controle e de tratamento.

As experiências em curso na Fapesp mostram que as avaliações de impacto trazem informação valiosa, seja para redirecionar e apoiar o planejamento da alocação de recursos da Fundação, seja para prestar contas à sociedade dos efeitos causados pelo investimento em ciência e tecnologia. A perspectiva que a Fapesp tem no curto prazo é a de tornar essas avaliações sistemáticas, ação que deverá ser implementada em breve.

Avaliar é uma necessidade que só faz valorizar o esforço e os resultados do fomento à pesquisa e à inovação. Faz-se mais e melhor conhecendo-se os impactos do investimento.

Sergio Salles-Filho é diretor da Faculdade de Ciências Aplicadas, da Unicamp, professor do Departamento de Política Científica e Tecnológica, do Instituto de Geociências, da mesma instituição e pesquisador do Geopi.

Nota:  ¹ O Geopi é um grupo de pesquisas do Departamento de PolíticaCientífica e Tecnológica do Instituto de Geociências da Unicamp. Fundado em 1995, tem, emconjuntocomgrupos da própria Unicamp, Embrapa, USP e FGV trabalhado no desenvolvimento e aplicação de metodologias de avaliação de impactos de CT&I.