Algoritmos são performativos. Isso quer dizer que alteram os ambientes em que são utilizados. Geram efeitos, muitos dos quais não previsíveis. Por isso, é fundamental que as sociedades democráticas avancem na compreensão das implicações dos algoritmos. Só assim será possível encontrar o melhor modo de regular essas tecnologias que começaram a regular nosso comportamento e nossa relação com o Estado. Mas os sistemas algorítmicos são envoltos pelo sigilo. Isso gera um grave problema para o Estado democrático, uma vez que a democracia não convive bem com a opacidade. A questão aqui colocada é como fiscalizar algo que não tem o seu funcionamento transparente. Como compreender um conjunto de milhares de linhas de códigos e funções matemáticas que podem se alterar constantemente? Este texto é fruto das análises oriundas do projeto de pesquisa “Regulação Algorítmica no setor público: mapeamento teórico e programático”, financiado pela Fapesp.
Com o avanço das tecnologias da informação, em especial do Big Data e das diversas aplicações da inteligência artificial, as atividades e processos do setor público estão sendo digitalizados e automatizados. Tarefas antes realizadas por funcionários públicos estão sendo substituídas por máquinas operadas por sistemas algorítmicos. Para aumentar sua eficiência e eficácia, o Estado há muito tempo tem implementado tecnologias obtidas no mercado ou desenvolvidas especificamente para a expansão do seu poder e controle.
Quando metas e decisões políticas precisam ser convertidas em um programa de computador temos um problema de regulação algorítmica. Algoritmos podem ser definidos como um conjunto de rotinas finitas e logicamente encadeadas que tratam dados para atingir os objetivos ou realizar os procedimentos definidos pelos seus desenvolvedores. A matemática Cathy O’Neill, preocupada com o desenvolvimento dos mais recentes algoritmos, os definiu como “regras formais, geralmente escritas em código de computador, que fazem previsões sobre eventos futuros baseados em padrões históricos” (O’Neill, 2017, online).
O sociólogo Max Weber, em sua obra Economia e sociedade, escrita no início do século XX, assinalava que a economia capitalista exigia que “os negócios oficiais da administração fossem feitos com precisão, sem ambiguidades, continuamente, e com a maior velocidade possível” (Weber, 1982, p.250). É preciso destacar que “o fenômeno da governança algorítmica é parte de uma longa tendência histórica em direção à mecanização da governança” (Danaher et all, 2017, p.2). Aqui, a governança ou a regulação diz respeito ao controle, as maneiras ou formas de realizar, moldar e conduzir o comportamento das pessoas, de segmentos do mercado e da sociedade.
A regulação algorítmica resulta da transferência da autoridade decisória de autoridades e gestores públicos para os sistemas de tomada de decisões baseados ou operados por algoritmos. Um exemplo é o sistema empregado no Estado americano do Wisconsin para determinar o grau de periculosidade de réus e suas respectivas penas. Baseado em pontuações, a solução tenta prever a possibilidade de o infrator vir a cometer novamente um crime. O sistema tem sido alvo de críticos que o consideram falho, principalmente por ter um viés racista. Uma pesquisa realizada pela agência ProPublica constatou que réus negros, devido ao histórico familiar e por residirem em áreas mais pauperizadas, estariam recebendo penas mais elevadas que criminosos brancos de maior periculosidade. Entretanto, Anthony Flores, professor assistente do departamento de Direito Penal da Universidade do Estado da Califórnia em Bakersfield afirmou que “os algoritmos já provaram ser melhores que os juízes para prever se uma pessoa vai voltar a cometer um crime” (Maybin, 2016, online). O fato é que algoritmos só podem predizer o futuro com base em uma estrutura de dados coletados no passado. Estes dados podem trazer um componente racista que acaba sendo projetado para o futuro.
O consultor e editor Tim O’Reilly publicou o texto “Open data and algorithmic regulation” em 2013 descrevendo a importância da regulação algorítmica, apesar de não defini-la. Destacou quatro características dessa regulação: 1) a compreensão precisa dos resultados desejados; 2) a medição em tempo real se esse resultado está sendo alcançado; 3) o conjunto de regras que fazem ajustes com base na entrada de novos dados; e, 4) análise periódica e profunda para avaliar se os algoritmos estão corretos e funcionando conforme esperado (O’Reilly, 2013). O’Reilly tem uma visão otimista em relação à regulação algorítmica, principalmente porque acredita no sucesso de uma estrutura de dados públicos abertos. Com dados conhecidos pela sociedade, o processo algorítmico poderia ser eficiente e justo. Todavia, tal visão está longe de ser consensual.
A literatura que discute a regulação e a governança algorítmica apresenta os inúmeros benefícios dos sistemas operados por algoritmos destacando a rapidez, eficiência, abrangência e imparcialidade (Domingos, 2017; Mayer-Schonberger e Cukier, 2013; Zarsky, 2012). Todavia, há um campo de estudos críticos que focaliza uma série de questões políticas, sociais, éticas e jurídicas que seriam inerentes aos sistemas automatizados organizados pelos algoritmos (Gillespie, 2018, Pasquale, 2015, Gillespie e Seaver, 2016). Também, são numerosos os artigos que trazem as questões de privacidade e proteção de dados e suas complexas relações com a vigilância e com os algoritmos (Tene e Polonetsky, 2013).
Zarsky (2016) fornece uma taxonomia para classificar os problemas discutidos na literatura até o momento. Ele argumenta que os sistemas de tomada de decisão algorítmica têm duas propriedades principais: eles são potencialmente opacos e podem ser automatizados. Ele então argumenta que essas duas propriedades dão origem a uma taxonomia particular de objeções. Essa taxonomia divide o problema em dois ramos principais: (i) um ramo da eficiência (que cobre os problemas decorrentes da imprecisão das decisões tomadas por meio da assistência algorítmica); e (ii) um ramo de justiça (que cobre problemas decorrentes do tratamento injusto de pessoas sob sistemas de governança algorítmica) (Danaher, 2017, p.4).
Uma regulação eficiente e justa pode ser efetivada por sistemas algorítmicos? A essa questão se soma uma outra que precisa ser destacada: uma regulação realizada por algoritmos pode ser democrática? A regulação se realiza por arranjos maquínicos ou sistemas de controle que possuem componentes que devem permanecer em conformidade com as leis democraticamente aprovadas. A grande questão é: como controlar os processos operados pelos algoritmos que não são visíveis aos cidadãos e muitas vezes são desconhecidos pelos próprios gestores e autoridades públicas? Com a utilização de Big Data e de algoritmos de aprendizado de máquina se torna mais difícil obter as informações indispensáveis sobre o funcionamento dos sistemas algorítmicos.
A pesquisadora Karen Yeung defendeu que os sistemas de regulação algorítmica possuem duas formas básicas: a reativa e a preditiva. Os sistemas reativos atuam acionando uma resposta automatizada com base na análise algorítmica de dados históricos de desempenho em tempo real. Os sistemas preditivos agem com avaliação algorítmica de dados históricos para inferir previsões sobre o comportamento futuro (Yeung, 2018). Em geral, algoritmos de aprendizado de máquina (machine learning), aprendizado profundo (deep learning), genéticos, entre outros de grande complexidade, têm como característica sua alteração constante. Dito de outro modo, algoritmos de aprendizado de máquina recebem regras de operação e instruções para aprender com acertos e erros. Uma de suas características mais importantes é que começam a reescrever seus códigos para aumentar seus acertos e atingir suas finalidades. Por isso, a definição que Yeung trouxe no resumo de seu trabalho deve ser observada em seus detalhes:
Regulação algorítmica refere-se a sistemas de tomada de decisão que regulam um domínio de atividade para gerenciar riscos ou alterar o comportamento através da geração computacional contínua de conhecimento através da coleta sistemática de dados (em tempo real, de forma contínua) emitidos diretamente de vários componentes dinâmicos pertencentes ao ambiente regulado a fim de identificar e, se necessário, refinar automaticamente (ou solicitar refinamento) as operações do sistema para atingir uma meta pré-especificada. (Yeung, 2018, 505)
Um dos grandes debates da regulação está na possibilidade de algoritmos de aprendizado de máquina serem controlados por humanos. Ao serem utilizados pelo Estado democrático, algoritmos que conduzem comportamentos dos cidadãos e operam a automação dos procedimentos das instituições estatais, além de estar em conformidade com as leis, precisam ter um nível de transparência considerado adequado pela sociedade. Frank Pasquale (2015) sustenta que os sistemas algorítmicos são ofuscados e envoltos pelo sigilo. Isso gera um grave problema para o Estado democrático, uma vez que a democracia não convive bem com a opacidade. A questão aqui colocada é como fiscalizar algo que não tem o seu funcionamento transparente. Como compreender um conjunto de milhares de linhas de códigos e funções matemáticas que podem se alterar constantemente?
Lucas Introna defende que mesmo que tenhamos acesso ao código-fonte de uma software ou ao texto do algoritmo seria improvável ou demasiadamente complexa a análise das milhares de linhas que definem sua operação. Essa característica do que é inescrutável, indecifrável, se agrava com algoritmos genéticos e de aprendizado da máquina, machine learning, uma vez que evoluem e se alteram cada vez que são expostos a um conjunto maior de dados (Introna, 2015, 25). Douglas Heaven descreve que os algoritmos de inteligência artificial “pensam” de modo muito diferente dos humanos. As escolhas do algoritmo são baseadas em dados tratados por análises estatísticas extremamente complexas. Mesmo um programador experiente não conseguiria compreender o conjunto de regras que motivaram uma certa decisão, já que os sistemas funcionam combinando funções matemáticas complexas e não narrativas que uma pessoa pode interpretar (Heaven, 2013, p.35).
Todavia não parece possível aceitar que um Estado democrático passe a utilizar sistemas algorítmicos, ágeis, eficientes, eficazes, automatizados, substitutos de funções humanas, sem que possam ser democraticamente controlados e auditados. Para garantir o controle democrático dos algoritmos que começam a ser utilizados pelos poderes de Estado são necessárias algumas mudanças. Primeiro, no modo como o Estado contrata os sistemas informacionais. Segundo, na formação de gestores responsáveis pelos sistemas algorítmicos. O Estado democrático não deveria contratar sistemas algorítmicos com o código fechado, pois não permite a auditabilidade plena e impossibilita os gestores de conhecer a efetiva dinâmica e funcionamento da solução utilizada. Além disso, é recomendável que o projeto, a concepção e a arquitetura dos sistemas de informação sejam formulados com a participação dos agentes públicos. O Estado deve preparar seus gestores para compreender e dialogar com os cientistas de dados, estatísticos e desenvolvedores de softwares.
Para uma democracia, será suficiente que apenas as corporações e os gestores públicos tenham compreensão dos sistemas algoritmos que passarão a controlar importantes atividades do Estado? Seria também necessário que os cidadãos pudessem decidir sobre a criação, implementação e uso desses sistemas? Mas é possível traduzir sistemas algorítmicos tão complexos para leigas e leigos em estatística, em computação, em sistemas de informação? Ou o uso de algoritmos estaria em uma esfera de decisão tipicamente interna e operacional sem relevância para as democracias?
Vamos analisar um caso limite. Na hipótese de o Estado resolver utilizar veículos não tripulados autômatos, sem supervisão humana, para garantir a segurança pública, certamente esses dispositivos serão operados por algoritmos de inteligência artificial. Trata-se de uma escolha das autoridades e gestores de uma área especializada do Estado. Todavia, os representantes da sociedade civil, os juristas, a Defensoria Pública e os Procuradores do Estado, entre outros, poderão reivindicar o acesso aos parâmetros e principais decisões embutidas e realizadas pelos sistemas algorítmicos que controlam esses aparelhos. Por seguirem rotinas, identificarem padrões e buscarem determinados objetivos, os algoritmos de aprendizado de máquina presentes nos aparelhos não operam como humanos. Pessoas sentem medo, raiva, fadiga, vacilam no cumprimento de uma ordem, mas algoritmos, não. Eles seguem instruções.
Quais são os princípios da operação desses dispositivos? Quais suas regras básicas? Existem instruções que não são passíveis de alteração. Quais são elas? As orientações de aprendizagem originais devem ser conhecidas dos representantes da sociedade civil? Ou devem ser de amplo conhecimento social? Enfim, no exemplo do caso limite de um dispositivo de segurança que patrulha nossas ruas ou voa sobre nossas cidades, dificilmente terá salvo conduto para operar sem o controle dos legisladores ou do conjunto da sociedade. Os sistemas algoritmos não poderão estar acima da lei. Obviamente, essa questão não se coloca para regimes não-democráticos.
Apesar de não integrarem o Estado, um outro caso que necessita destaque é o dos algoritmos de plataformas de relacionamento social, as chamadas redes sociais online. Esses nós na internet são empreendimentos privados de grande acesso onde ocorrem interações coletivas e se formam ondas de opinião pública. São polos de grande relevância para a democracia. Os algoritmos dessas plataformas definem o que as pessoas vão ler, ver e ouvir. As postagens de conteúdo são filtradas e visualizadas pelas usuários conforme as definições dos algoritmos, como bem descreveu Eli Pariser (2012). Assim, esses algoritmos acabam modulando a visão e a opinião dos integrantes das redes sociais.
Esse processo realizado pelos algoritmos ocorre como uma arquitetura de decisão (Thaler e Sunstein, 2008, p.81). As redes sociais online podem influenciar as pessoas não pelo discurso, mas pela oferta e sugestão de navegação. No livro Nudge: Improving decisions about health, wealth and happiness, o jurista Cass Sunstein e o economista Richard Thaler argumentam que as pessoas podem ser muito influenciadas por pequenas mudanças no contexto, nos ambientes onde habitam, nos locais por onde passam ou navegam. Para os autores pequenos detalhes, aparentemente insignificantes, podem ter impactos importantes no comportamento das pessoas. O que os algoritmos das redes sociais promovem é a concentração ou dispersão das atenções dos seus usuários em uma direção específica. Isso pode ser compreendido como modulação (Silveira, 2017).
Desde 2008, considerável atenção acadêmica se concentrou em um tipo de abordagem baseada em design para moldar o comportamento denominada cutucada sutil ou nudge, em inglês. Graças a Thaler e Sunstein, que afirmam que nudge é “qualquer aspecto da arquitetura de escolha que altera o comportamento das pessoas de maneira previsível sem […] mudança significativa de seus incentivos econômicos” (Thaler & Sunstein, 2008, p.6). A herança intelectual do nudge se baseia em experimentos da psicologia cognitiva que buscam compreender a tomada de decisão humana, encontrando divergências consideráveis entre o modelo de tomada de decisão do ator racional, assumido pela análise microeconômica, e o modo como os indivíduos realmente tomam decisões devido ao uso difundido de atalhos cognitivos e heurísticos (Tversky & Kahneman, 1974, 1981). Criticamente, muitas decisões individuais ocorrem inconscientemente, de forma passiva e irrefletida, e não através de deliberações ativas e conscientes (Kahneman, 2013; Yeung, 2017, p.120).
Os sistemas algoritmos avançam na governança e na regulação de práticas e comportamentos. Entretanto, boa parte da literatura crítica apresenta a necessidade de as democracias e os coletivos sociais exercerem uma regulação dos algoritmos. Algoritmos são performativos. Isso quer dizer que alteram os ambientes em que são utilizados. Geram efeitos, muitos dos quais não eram previsíveis. Por isso, é fundamental que as sociedades democráticas avancem na compreensão das implicações democráticas, culturais e sociais dos algoritmos. Assim, será possível encontrar o melhor modo de regular essas tecnologias que começaram a regular nosso comportamento e nossa relação com o Estado.
Sérgio Amadeu da Silveira é professor associado da Universidade Federal do ABC. Doutor em ciência política pela USP (2005), é membro do Comitê Científico Deliberativo da Associação Brasileira de Pesquisadores em Cibercultura (ABCiber) e do Comitê Gestor da Internet no Brasil. Autor dos livros Tudo sobre tod@s: redes digitais, privacidade e venda de dados pessoais, Exclusão digital: a miséria na era da informação e Software livre: a luta pela liberdade do conhecimento.
Referências
Danaher, John et al. “Algorithmic governance: Developing a research agenda through the power of collective intelligence”. Big Data & Society, v. 4, n. 2, 2017.
Domingos, Pedro. A revolução do algoritmo mestre. Editorial Presença, 2017.
Gillespie, T.; Seaver, N. “Critical algorithm studies: A reading list”. 2016. Disponível: https://socialmediacollective.org/reading-lists/critical-algorithm-studies/
Gillespie, Tarleton. “A relevância dos algoritmos”. Parágrafo, v. 6, n. 1, p. 95-121, 2018.
Heaven, Douglas. “Not like us: artificial minds we can’t understand”. New Scientist, v. 219, n. 2929, p. 32-35, 2013.
Introna, L. “Algorithms, governance, and governmentality: on governing academic writing”. Science, Technology & Human Values, 3 June 2015.
Maybin, Simon. “Sistema de algoritmo que determina pena de condenados cria polêmica nos EUA”. BBC News, 31 outubro 2016, online. Disponível: https://www.bbc.com/portuguese/brasil-37677421
Mayer-Schönberger, Viktor; Cukier, Kenneth. “Big data – A revolution that will transform how we live”, Think and Work. 2013.
O’Neil, Cathy. Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books, 2016.
O’Neil, Cathy. “How can we stop algorithms telling lies?” The Guardian, Sun 16 Jul 2017. https://www.theguardian.com/technology/2017/jul/16/how-can-we-stop-algorithms-telling-lies
O’Reilly, Tim. “Open data and algorithmic regulation”. In: Beyond transparency: open data and the future of civic innovation, ed. Brett Goldstein e Lauren Dyson. Disponível: http://beyondtransparency.org/chapters/part-5/open-data-and-algorithmic-regulation/
Pariser, Eli. O filtro invisível: o que a internet está escondendo de você. Zahar, 2012.
Pasquale, Frank. The black box society. Cambridge, MA: Harvard University Press, 2015.
Silveira, Sergio Amadeu. Tudo sobre tod@s: Redes digitais, privacidade e venda de dados pessoais. Edições Sesc, 2017.
Thaler, Richard; Sunstein, Cass R. Nudge: Improving decisions about health, wealth, and happiness. Yale University Press, 2008.
Tene, Omer; Polonetsky, Jules. “A theory of creepy: technology, privacy and shifting social norms”. Yale JL & Tech., v. 16, p. 59, 2013.
Weber, Max. Ensaios de sociologia. Rio de Janeiro: Zahar Editores, 1982.
Yeung, Karen. “‘Hypernudge’: Big Data as a mode of regulation by design”. Information, Communication & Society, v. 20, n. 1, p. 118-136, 2017.
Yeung, Karen. “Algorithmic regulation: A critical interrogation”. Regulation & Governance, v. 12, n. 4, p. 505-523, 2018.
Zarsky, Tal Z. “Automated prediction: Perception, law, and policy”. Communications of the ACM, v. 55, n. 9, p. 33-35, 2012.
Zarsky, T. “The trouble with algorithmic decisions: An analytic road map to examine efficiency and fairness in automated and opaque decision making”. Science, Technology and Human Values 41(1): 118–132, 2016.