Por Carlos Caetano de Almeida, Fabrício Nogueira Albergaria Pereira, Marcos Ferreira e Pedro A. Duarte

Em palestra no Labjor, especialista da Unicamp Sandra Ávila explicou o funcionamento da tecnologia

Uma das maiores tecnologias lançadas no mercado em 2023 foram os chatbots, as Inteligências Artificiais (IA) que conversam no formato de um chat com seus usuários, sendo a mais famosa o ChatGPT. O boom das IA representa avanços, como maior processamento computacional, e preocupações. Em 2 de outubro a professora Sandra Ávila, do Instituto de Computação da Unicamp, realizou um seminário intitulado “ChatGPquê?”, para pós-graduandos do Laboratório de Estudos Avançados em Jornalismo (Labjor), em que explorou o universo das Inteligências Artificiais, como foram desenvolvidas, além de seus problemas e limites atuais.

Ávila é doutora em Ciência da Computação, com duplo diploma pela UFMG e pela Sorbonne Université (antiga Université Pierre et Marie Curie, UPMC Sorbonne, Paris 6); suas pesquisas estão voltadas para Inteligência Artificial, mais especificamente Aprendizado de Máquina e Visão Computacional, já tendo trabalhado em projetos de desenvolvimento de IA para detecção de câncer de pele e para a detecção de conteúdos sensíveis na internet como forma de prevenir sua disseminação.

Por mais que o  tema das IAs esteja em alta, é um pouco difícil compreender o que elas realmente são e como funcionam. Uma Inteligência Artificial pode ser elaborada de diversas formas. Durante o seminário, Ávila se deteve nas IAs de Aprendizado de Máquina (em inglês machine learning), mais precisamente as de Aprendizado Profundo (deep learning do inglês). Essa forma de IA é um programa de computador que aprende a partir de dados, identificando padrões e apresentando resultados específicos a partir disso. Sendo assim, a área da IA não seria uma novidade, tendo pesquisas na década de 50; contudo, ganhou notoriedade pública por conta de avanços tecnológicos recentes. Essa grande área (IA) engloba outras, como IoT, Big Data, Robótica, Cloud Computing e Processamento de Linguagem Natural, além da área de Aprendizado de Máquina, que por sua vez contempla a subárea de Aprendizado Profundo.

O desenvolvimento de uma IA consiste em fazê-la passar por um treinamento longo que termina quando a máquina consegue obter resultados corretos a partir dos dados analisados – envolve que erre muitas vezes. A verificação dos resultados pode ser feita por seres humanos (chamado de “aprendizado supervisionado”), por outros programas ou mesmo por IA. O ChatGPT, por exemplo, foi treinado para conseguir construir frases que parecem naturais, como se estivéssemos conversando com uma pessoa, porém isso não significa que o que diz seja verdadeiro ou  confiável, apenas que soa natural.

Mulheres correm mais risco de morte em acidentes de trânsito do que os homens. Numa colisão, a chance de ferimentos graves é ainda maior. Foi com esse exemplo que a professora Sandra Ávila ilustrou a falta de diversidade na consideração dos dados inseridos nas ferramentas de Inteligências Artificiais e aprendizado de máquina. No desenvolvimento de cintos de segurança e itens de segurança automotivos, o corpo feminino é negligenciado em detrimento do corpo do homem. Levou-se em consideração apenas o estereótipo masculino durante os testes dos equipamentos, representado na figura dos dummies, como são chamados os bonecos (ou manequins) utilizados nos laboratórios. O resultado é que o cinto de segurança não é tão eficiente em corpos femininos.

Nas ferramentas de IA, a inserção e amostragem de dados pode ser enviesada e repetir injustiças sociais ao não representarem a realidade. Ferramentas como o ChatGPT ou o Bard ainda carecem de maior diversidade e supervisão tanto na inserção de seus dados, quanto nas equipes que desenvolvem os algoritmos.

“Cadê a equipe que faz perguntas específicas para os dados? Cadê a equipe que olha depois para o resultado dos modelos? Cadê a equipe que fica olhando enquanto o negócio tá sendo desenvolvido para avaliar como as coisas estão saindo de forma geral? Qual foi a métrica usada que otimizou o desenvolvimento do algoritmo aqui? A métrica é: quanto menor o custo, melhor e acabou”, questionou Sandra.

Se pode ser difícil excluir totalmente os problemas representativos existentes na concepção de ferramentas de IA, por outro lado existem maneiras de mitigar os dados enviesados. Segundo Ávila, ter uma equipe diversa trabalhando no desenvolvimento das ferramentas é um dos principais pontos para uma distribuição mais justa nos dados. Além disso, uma melhor supervisão humana das informações inseridas também é uma maneira importante na mitigação dos vieses e vícios. “Existe a mitigação de olhar para o dado e aí você tem que investigar o seu dado. (…) Existem técnicas, existem métricas, existem diversas coisas que a gente pode lidar com vieses”, explicou.

Mas ainda há um trabalho longo pela frente e, mesmo que nos deparemos com tecnologias revolucionárias avançando a passos largos e em pouco tempo, muitos aspectos devem melhorar e precisam ser realizados em prol de ferramentas mais justas, com base em erros e acertos – mesmo que, para isso, leve um tempo um pouco maior.

“Aí a gente vê que tem muito trabalho pela frente, né? Ele [ChatGPT] já está praticamente resolvido. Trabalho não vai faltar. Para você mitigar o viés, muitas vezes o seu resultado vai diminuir em termos de taxas de acerto”, Ávila afirmou.  “Você não pode querer necessariamente o melhor resultado, o mais alto ou o melhor. ‘Quanto mais eu acertar, melhor’. Eu vou ter que errar de fato algumas coisas, é muito complicado isso.”

O ChatGPT, como o nome indica, é um Chat Transformador Pré-Treinado Generativo (a sigla vem do inglês Generative Pre-Trained Transformer). Ainda que este chatbot tenha sido lançado em novembro de 2022, sua técnica já havia sido proposta por pesquisadores no final de 2017. O ChatGPT é um método de aprendizado de máquina no qual textos são transformados matematicamente para que a IA aprenda quais palavras costumam aparecer depois de outras palavras, dando valores para essas combinações.

Durante o seminário, Ávila trouxe como exemplo a frase: “Meu nome é Sandra e eu sou…”. Qual seria a próxima palavra depois dessa combinação? A IA identificou que a palavra mais provável de aparecer depois dessa combinação seria: “Vampiro”. “Faz sentido? Não”, Ávila pontuou. “Mas é a que teria a probabilidade mais alta de aparecer. Fazer sentido ou não fazer sentido é outra coisa que a gente precisa avaliar”.

Exemplos similares ao ChatGPT incluem a sugestão de palavras propostas pelo teclado dos celulares e os mecanismos de busca. Nesses casos, a IA aprende a calcular a probabilidade da próxima palavra a aparecer na frase a partir dos usos que cada usuário faz da língua: qual a probabilidade de um usuário específico utilizar tal palavra depois de determinada sequência em uma frase.

No processo de aprendizado do ChatGPT, cada palavra é transformada em um token para fazer o cálculo que identifica o próximo termo a aparecer em uma frase. “Existem formas diferentes de tokenizar as palavras”, Ávila explicou, “depende da linguagem, depende do vocabulário, depende do alfabeto, depende de um monte de coisa. Existem técnicas diferentes para isso.” Esse processo ocorre porque o computador não entende textos, a máquina não consegue fazer a leitura de um texto; mas ela entende os números. “Qualquer coisa vai ser transformada em um número, o texto vai ser transformado. E a pergunta é: como é que eu transformo em um número aquilo que eu quero dar de entrada?”

“Qual é a tarefa que o ChatGPT está fazendo e que diversos modelos de linguagens estão fazendo? É isso aqui: a palavra vira número, e uma vez que eu tenho esses números a ideia é dizer qual é o próximo com base na probabilidade de ser esse número aqui. A gente vai pegar todos os números que eu tenho para dizer quem é o próximo. No ChatGPT, todo esse texto que vai ser transformado no radical ou na palavra e depois a gente enxerga aquela interface. Quando usamos a ferramenta parece que ele está conversando com a gente, né? Porque ele vai digitando; mas na verdade já está tudo pronto.”

A pesquisadora ressaltou que, na verdade, esses modelos não foram de fato treinados para serem assistentes; não servem para responder perguntas. Foram feitos apenas para completar a frase dizendo qual seria a próxima palavra. “A gente é que está usando de outras formas.”

De acordo com Ávila, é possível fazer algumas estimativas sobre os elevados custos financeiro, ambiental e energético que ocorrem para treinar os modelos de linguagem que servem como base para o ChatGPT, por causa do consumo intensivo de recursos computacionais, incluindo eletricidade e hardware de alta potência.

O custo real pode variar dependendo de vários fatores como o tamanho do modelo; a quantidade de dados utilizada; e a duração do treinamento – envolvendo o uso de clusters de GPUs (Unidades de Processamento Gráfico) de alto desempenho e grandes quantidades de dados para o pré-processamento e treinamento do modelo.

O treinamento de modelos de linguagem requer o uso de clusters de GPUs de alto desempenho, que consomem grandes quantidades de recursos naturais e energia, contribuindo para as emissões de carbono associadas à fabricação. Muitos desses treinamentos ocorrem em data centers que exigem grande quantidade de energia para manter os servidores funcionando. Isso pode aumentar a demanda por eletricidade, o que, por sua vez, pode contribuir para emissões de carbono se a eletricidade for gerada a partir de fontes não renováveis, como carvão ou gás natural.

Além das emissões diretas devido ao consumo de eletricidade, o treinamento de modelos de linguagem também pode levar a emissões indiretas. Isso ocorre quando as empresas que executam esses treinamentos não utilizam fontes de energia renovável ou quando a infraestrutura de data centers não é otimizada para eficiência energética.

O impacto ambiental do treinamento de modelos de linguagem continua sendo uma preocupação e um tópico importante de discussão no campo da inteligência artificial. À medida que a conscientização cresce, espera-se que haja uma pressão maior para tornar os treinamentos de modelos de linguagem mais sustentáveis e para reduzir suas emissões de carbono.

Sandra Ávila deu palestra no contexto da Especialização em Jornalismo Científico do Labjor, disciplina Seminários de Ciência e Cultura, ministrada por Simone Pallone e Paula Drummond. Foto: Marcos Ferreira.