Por Jessy Hempel

Este texto é uma tradução de Amin Simaika de artigo publicado em 5 de setembro de 2018 na revista Wired. Na foto, Cathy O’Neil, autora de Weapons of math destruction: how big data increases inequality and threatens democracy e fundadora da ORCAA, empresa especializada em auditoria de algoritmos.

O negócio do empresário norte-americano Yale Fox não funciona a menos que todos pensem que é um negócio justo. Sua startup, a Rentlogic, utiliza um algoritmo para avaliar locadores da cidade de Nova York quanto à qualidade com que cuidam de suas propriedades. É uma forma fácil para os locatários evitarem percevejos e mofo. Mas não é suficiente que a pontuação da Rentlogic exista, é preciso que tanto locadores quanto locatários acreditem nela.

Isso estava na mente de Yale no outono passado quando ele ouviu Cathy O’Neil. O’Neil, ex-analista quantitativa de Wall Street, com PhD por Harvard em matemática, escreveu um livro em 2016 para atrair atenção à injustiça algorítmica. O livro, Weapons of math destruction: how big data increases inequality and threatens democracy (“Armas de destruição matemática: como o big data aumenta a desigualdade e ameaça a democracia”), argumentava que algoritmos mal executados reforçam a discriminação e ampliam a desigualdade.

É um argumento comum, mas a maioria dos críticos oferece poucas soluções para reparar essa distorção. Mas O’Neil surgiu com uma nova ideia: um processo de auditoria que pede que as empresas submetam sua tecnologia a avaliação. Depois da palestra de Cathy O’Neil, Fox pediu para se encontrar com ela. Até o fim do café, havia assinado como primeiro cliente dela para uma auditoria externa de logaritmos.

Uma vez que titãs da tecnologia como Facebook, Google e Microsoft prometem incorporar mais ética em suas práticas, os negócios estão começando a empregar auditoria de algoritmos para ajudá-los a pensar tais sistemas. Adotando uma auditoria, muitas empresas acreditam que estão obtendo um insight precoce em ferramentas que mais tarde acabarão sendo exigidas por autoridades reguladoras. Em 2016, a Casa Branca de Obama apelou diretamente às empresas para que auditassem seus algoritmos. A Deloitte desenvolveu uma prática para ajudar as empresas a gerenciarem o risco algorítmico e a Accenture também afirma que oferece consultoria a seus clientes nesse campo. Ainda assim, tais auditorias estão apenas em seus primeiros dias. “Neste momento, a capacidade de os algoritmos serem avaliados é uma questão aberta”, diz D.J. Patil, que era o cientista de dados chefe dos EUA durante a administração Obama. “Tecnicamente, nós não sabemos como desmontar o aparelho para verificá-lo.”

Fox não está sozinho na busca de aprovação externa. Frida Polli, fundadora de uma empresa chamada Pymetrics que usa testes de personalidade para ajudar as empresas a tomarem decisões quanto a contratações, instituiu uma auditoria interna logo no início para garantir que seu software de contratações não discriminava (ela planeja disponibilizar o processo de auditoria abertamente no GitHub em breve).

Embora não exista um protocolo padrão, em geral uma auditoria envolve a vinda de uma agência externa para revisar a maneira como uma empresa desenvolve seu ingrediente secreto — sem comprometer os segredos comerciais dessa empresa. Mas essa medida não é altruísta. Em algum momento, os negócios podem precisar provar às autoridades regulamentadoras que sua tecnologia não discrimina alguma classe de pessoas; a auditoria, portanto, poderia impedir futuros litígios. Para outros, ter um selo de aprovação de terceiros é um bom marketing, como o selo de “orgânico” no leite, sugerindo aos potenciais consumidores que podem confiar que uma determinada empresa está sendo cuidadosa em sua abordagem. Independentemente do motivo, as empresas estão se abrindo para avaliações externas com mais frequência, um sinal que tais auditorias podem ser tornar a norma.

Princípios básicos de negócios
Lançado oficialmente em 2013, o algoritmo da Rentlogic dá nota à manutenção de cada imóvel para locação em Nova York, fornecendo uma etiqueta de A até F. Para programar o modelo, a empresa retira informações públicas das 311 chamadas que apresentam infrações contra um imóvel. Quando os locadores optam por pagar um processo adicional de certificação, a Rentlogic envia um inspetor para garantir que as informações do algoritmo estão de acordo com a realidade. Por uma quantia entre cem a mil dólares por ano, dependendo do tamanho do imóvel, a Rentlogic certificará sua nota e oferecerá uma placa para exibição.

Para que a Rentlogic funcione, tanto os locadores como os inquilinos, dois grupos com interesses conflitantes, precisam acreditar que o negócio é justo. Fox pensou que ter uma terceira parte que seja neutra, como O’Neil, revisando a tecnologia da empresa e oferecendo um selo de aprovação seria uma maneira fácil de provar que o protocolo da Rentlogic não tinha distorções.

Durante quatro meses, Cathy O’Neil revisou a forma como a Rentlogic havia projetado seu algoritmo e como a tecnologia resultante foi testada e implantada. Ela observou como os dados foram colhidos, como o código foi testado e como a Rentlogic mantinha o sistema. Ela também entrevistou Fox bem como o programador responsável pelo algoritmo.

Como parte da auditoria, O’Neil criou uma ferramenta que ela chama de matriz ética, uma planilha que ajuda as empresas a pensarem nas consequências — pretendidas e outras — dos resultados do algoritmo. No topo da matriz estão seis traços: exatidão, consistência, distorção, transparência, justiça e pontualidade. O eixo vertical lista as partes interessadas que a Rentlogic precisa levar em consideração em seu modelo: donos dos imóveis, inquilinos, a empresa e as autoridades municipais. Cathy O’Neil diz que a matriz cria “uma conversa sobre o as coisas com as quais você pode precisar se preocupar”. Destina-se a levar os programadores a considerarem questões importantes à medida que trabalham. “Quem se importa se esse algoritmo funciona? Quem se importa se ele fracassa?” pergunta ela. “Quem vai se prejudicar se o algoritmo estiver errado?” Quando essas questões revelam consequências eticamente problemáticas, como por exemplo, discriminação contra pessoas, ela marca a caixa amarela ou vermelha.

A matriz ética da Rentlogic ficou marcada com algumas poucas caixas amarelas e nenhuma vermelha, levando O’Neil a conceder à empresa seu primeiro selo oficial de aprovação. Mas ela ainda tinha algumas recomendações. Sugeriu, por exemplo, que a Rentlogic incorporasse checagens automáticas de dados de forma que, à medida que novos dados fossem inseridos, não corrompessem o conjunto de dados existente. Outra conversa se referia à procedência dos dados da Rentlogic ao certificar imóveis. Nesse momento, a empresa exige que os inspetores da cidade visitem os imóveis. Os inspetores poderiam ser parciais, diz Fox, ou aceitar suborno dos proprietários de imóveis. Para contrabalançar isso, Fox está observando padrões nos relatórios produzidos pelos inspetores.

Logicamente, uma auditoria não prova que uma empresa evitou todas as armadilhas não intencionais de um algoritmo. O auditor pode não observar o conjunto certo de partes interessadas, ou pode não fazer o conjunto correto de perguntas. “Isso é uma coisa subjetiva”, diz O’Neil. “Mas eu diria que nosso maior problema não é termos as conversas erradas”. A preocupação dela é que as conversas simplesmente não estejam acontecendo.

Desde que começou a trabalhar com Fox, O’Neil diz que conseguiu uma meia dúzia de clientes. Uma firma de advocacia contratou-a para revisar o uso de um algoritmo de risco de reincidência em uma audiência de liberdade condicional. Ela auditará a documentação para determinar se o modelo é justo. Outra cliente, a Siemens, a empregou para ajudar a desenvolver um sistema de auto-auditoria interna.

O selo de aprovação de O’Neil, que é concedido com o logo de sua empresa recém-formada que se chama ORCAA (O’Neil Risk Consulting and Algorithmic Auditing), já provou ser útil para Fox. Em primeiro lugar, tem sido útil para obter financiamento. A empresa está perto de completar uma captação inicial. “Um investidor disse que apenas o fato que se pensou em fazer uma auditoria onde nunca se tinha ouvido falar o impressionou”, diz Fox.

É um pequeno passo em direção a um futuro de dados mais transparentes: se não pudermos retirar todas as distorções dos algoritmos, pelo menos devemos livrá-los das distorções que pudermos identificar.

Jessi Hempel escreve na Wired, onde cobre negócios de tecnologia. Já trabalhou nas revistas Fortune e BusinessWeek.