Por Alcides Eduardo dos Reis Peron

Algoritmos preditivos têm sido introduzidos em sistemas de vigilância e monitoramento não apenas para imbuir a ação policial ou militar de maior eficiência, mas como forma de repor perpetuamente mecanismos de submissão de parcelas da população. A discricionariedade e a arbitrariedade das ações policiais recebem um verniz técnico e racional de legitimidade.

Imaginem-se imersos em uma situação na qual atravessar a rua em local não permitido, jogar lixo no chão, fumar em local proibido, proferir palavrões, ou simplesmente protagonizar uma discussão tornem-se atitudes que contem negativamente para a sua avaliação, enquanto cidadão. Consequentemente, estando com uma pontuação baixa, seu rosto e dados seriam exposto em um outdoor como uma forma mista de denúncia e punição pela sua conduta imprópria. Ainda que para alguns leitores isso soe “muito Black Mirror” – algo aparentemente desconectado do presente e ligado a um futuro não tão distante – uma reportagem conduzida pela revista britânica The Economist em setembro deste ano [2018] explora como o governo e diversas empresas chinesas têm explorado tecnologias de vigilância como forma de condenar comportamentos indesejados, forçando uma determinada noção de ordem e cidadania.

Startups como Megavii, Sensetime e Yitu têm sido responsáveis pelo desenvolvimento de tecnologias de reconhecimento facial com aplicação em diversos sistemas, como de caixas eletrônicos, check-ins em aeroportos e estações de trem e mesmo para a compra de diversos produtos. Como afirma uma das gestoras da Yitu, em um discurso acerca da ideia de “cidades inteligentes”, esses são investimentos que pretendem tornar mais rápida, mais segura e saudável a vida de diversas pessoas. No entanto, diante do profundo intercâmbio e interconectividade entre setor privado e público, militar e policial, assim como a dualidade de emprego dessas tecnologias, nada garante que esses sistemas de vigilância e monitoramento não sejam utilizados como forma de intensificar o controle e o assujeitamento de diversas pessoas.

Algoritmos de alertas analíticos (leituras de imagens) em câmeras são utilizados para identificar pequenas ofensas cometidas por indivíduos, fazendo com que isso incida sobre um sistema de créditos, que por um lado pode ocasionar um bloqueio ao acesso a uma gama de serviços públicos (descrito como banimento doméstico) e, por outro, uma espécie de execração pública, uma vez que os seus rostos e dados são expostos em outdoors. Ainda que consideremos que a invisibilidade seja algo superado em um contexto de ampla proliferação de câmeras de vigilância, algo mais complexo entra em cena: algorítmos para o reconhecimento de emoções têm sido testados na China e em outros países tanto para a oferta de propagandas direcionadas e produção de saberes sobre consumidores como para autoridades policiais se anteciparem na identificação de potenciais criminosos. Esses sistemas têm se espalhado pelo mundo todo, da mesma forma em que o discurso de conectividade, segurança e cidades inteligentes ganha fôlego.

Conforme revelado pela agência de jornalismo investigativo The Intercept, desde o início da década a Força Aérea estadunidense vem incorporando sistemas algorítmicos de coleta massiva de dados em sua rede de Drones armados, a Skynet. Esse sistema teria por objetivo rastrear e perfilizar condutas consideradas suspeitas, subsidiando as decisões de ataque em diversos países. De modo semelhante, sistemas como o Predpol de Los Angeles têm contribuído para que as forças policiais adotem táticas “preditivas”, em que estatísticas criminais produzidas em anos anteriores são  organizadas via algoritmos de modo a produzir mapas de calor dos locais com maior potencialidade de ocorrência de crimes, orientando a ação “proativa” policial. Em Nova York, o Domain Awareness System (DAS), desenvolvido em parceria com a Microsoft como parte dos esforços para enfrentar o terrorismo doméstico, introduz o sistema de alertas analíticos: através de uma leitura alogrítmica das imagens de condutas e situações suspeitas, permite o apoio à prevenção de crimes e ao controle de manifestações.

Todos os sistemas descritos até aqui caracterizam-se por três elementos comuns: (1) o fato de estabelecerem formas de vigilância que não necessariamente são alicerçadas no olhar humano, mas sim em análises algorítmicas de dados e de imagens, ou seja, “dataveillance”; (2) terem sido produzidos em um consórcio público-privado; e (3) possuírem uma dinâmica de emprego dual, em que o uso  comerical se confunde com o uso securitário. Essa tem sido a tônica do chamado “capitalismo de vigilância”, em que por um lado a dinâmica de vigilância e comercialização de dados se torna ubíqua e determinante para as relações produtivas e processos de acumulação e, por outro, o monitoramento e análise de dados se torna a prática central de agências e empresas de segurança. No entanto, ainda que a adoção dessas tecnologias possa soar como um compêndio de práticas sofisticadas para evitar a ocorrência de desvios, perturbações e crimes, apontando para ambientes urbanos mais ordenados e cooperativos, uma avaliação mais atenta nos mostra que alguns problemas podem advir dessa lógica de vigilância e de vida em sociedade mediada por algorítmos.

Assemblages e “viéses”
Como o filósofo e urbanista Paul Virilio afirmava, a cada avanço tecnológico observado pela humanidade, em paralelo ocorre um novo tipo de acidente. A invenção do avião trazia consigo o desastre aéreo, por exemplo. Nas entrelinhas, no entanto, Virilio apontava que os acidentes eram de ordem perceptiva, principalmente, em que cada “motor da história”, ao imputar uma determinada velocidade ao olhar humano, alterava a maneira como o mundo e as coisas eram vistos, e portanto como as relações se organizavam. Pelo avião ou pelo espaço, se vê a terra de modo estratégico, por cima, porém com um enorme distanciamento, a ponto de gerar perdas perceptivas sobre as micro relações existentes. Com a invenção do chamado “motor informático”, não apenas passamos a ver as coisas de modo permanente, mas desenvolveu-se a possibilidade de que a máquina o faça para nós, ou ao menos complete o nosso olhar, que não mais atende à velocidade e permanência da máquina. A perda perceptiva poderia também ser entendida como esse processo contínuo de cessão do olhar e intuição humanas à máquina informacional, a qual desenvolve e calibra algoritmos capazes de dar conta da multiplicidade de elementos imagéticos para a análise comportamental e potencializa a capacidade analítica humana para o processamento e correlação de inúmeros dados em poucos segundos.

Os sistemas de vigilância e governamentalidade algorítmica que descrevemos até aqui, em geral,  possuem total autonomia para análise e triagem de dados, como também muitas vezes funcionam de forma a subsidiar o olhar ou a tomada de decisão em determinados contextos, formando uma espécie de montagem (assemblage) sociotécnica, que pode ser marcada por maior ou menor autonomia humana. A depender do nível de auxílio prestado pelos algoritmos ao olhar humano, ou à tomada de decisão, é possível que ocorram por parte de operadores erros de omissão (desatenção, por excesso de informação) e erros por comissão (excesso de confiança nos sistemas algorítmicos).

Nos primeiros casos, sistemas de travamento de mira (targeting) em drones muitas vezes auxiliam operadores a alvejarem determinados alvos nos campos de batalha, minimizando os “danos colaterais”. No entanto, erros podem acontecer, uma vez que esse travamento atua automaticamente sobre qualquer elemento considerado móvel e “vivo”. Em comunhão com olhares pouco treinados de operadores de drones, que carregam uma série de preconceitos e pouca “sensibilidade cultural”, os erros por comissão podem ser letais, como o caso do operador de sensores norte-americano Brandon Bryant que em uma determinada operação militar teve dificuldades em distinguir entre uma criança e um cachorro.

Por outro lado, sistemas algorítmicos de reconhecimento facial e de condutas podem causar constrangimentos e reproduzir preconceitos em diversas escalas. Em 2015, um software de reconhecimento facial desenvolvido pela Google “confundiu” rostos de jovens negros com rostos de gorilas, em diversas ocasiões, gerando revolta nas redes sociais dos EUA. Em 2017, em Jacksonville, na Flórida, policiais tentaram utilizar softwares com algoritmos de reconhecimento facial para encontrar um suspeito de tráfico de drogas, a partir de algumas fotos dele que tinham em mãos. O sistema então apontou para um jovem negro, até então acima de qualquer suspeita, Willie Lynch, que passou a ser investigado pelo crime. De acordo com pesquisadores da Universidade de Georgetown, Clare Garvie e Alvaro Bedoya, que desenvolveram o estudo “Perpetual line-up”, não há consenso a respeito de esse sistema de reconhecimento facial (baseado em um sistema de aprendizado estatístico supervisionado) ser uma “biometria perfeita”, e mais ainda, tende a atingir comunidades vulneráveis, principalmente quando essa tecnologia está relacionada a base de dados criminais que por anos são abastecidos com dados dessa própria comunidade, gerando um “loop” perpétuo no “pareamento” e identificação de suspeitos, ou o que prefiro chamar de “gueto de dados”.

A rigor, algoritmos podem ser entendidos como meras soluções ou instruções lógicas (funções matemáticas) direcionadas para a realização de tarefas ou solução de problemas específicos, posteriormente traduzidas em uma linguagem de programação. Essas instruções, portanto, dependeriam de uma entrada de dados que pode se dar de diversas formas (dados de geolocalização, de consumo, comportamentais), por mais variados sensores (câmeras, celulares, sensores biométricos) e a partir da programação imputada a ele, o que permite que correlacionem e produzam informações novas, como características de consumo, padrões de relacionamento etc. Nesse sentido, diversos tipos de algoritmos podem surgir, como para mineração de dados (para classificação, segmentação e associação), para análise comportamental, como para solução de problemas de busca e otimização, e preditivos, que através de classificações, regressões, correlações e análises de dados do passado buscam antever determinados comportamentos no futuro.

O algoritmo, tal como a tecnologia em sua expressão mais ampla, são produtos da ação e agência humana, resultados de uma série de interações, disputas entre valores e interesses e programações que, como afirma Bruno Latour, se cristalizam nos artefatos. Nesse sentido, faria sentido nos referirmos a esses procedimentos enquanto “agenciamentos algorítmicos”, os quais conformam e perpetuam em sua sequência lógica e na sua programação interesses particulares contingenciados histórica e socialmente, consequentemente agem de forma permantente sobre o corpo social.

Josh Scannel, discorrendo sobre o DAS irá afirmar que “os softwares de predição de crimes não têm nada a ver com prevenção de crime”. Ao invés disso, os algoritmos que baseiam esses sistemas apenas “matematizam” uma estética policial discriminatória, organizando a cidade em torno de percepções irreais, ou uma “reorganização da ontologia na computação”. O algoritmo seria, portanto, um objeto político, uma junção de forças que se imprimem no social. Sobre isso, o autor defende que esses algoritmos preditivos, ao pretenderem reduzir a “bagunça do contexto social em uma computação enxuta”, em uma decisão estética e simplista, acabam por eliminar o social da sociabilidade. Como resultado, produzem uma “fantasia refinada da cidade”, a smart city, que mascara um Estado carcerário, cuja agência humana na tomada de decisão sobre a “culpabilidade” dos sujeitos é suprimida por uma governamentalidade algorítmica.

Assim, em que medida o viés ou erro nesses casos não seriam, em verdade, o reflexo de percepções de agentes políticos e de segurança a respeito de categorias como criminalidade, ameaças, normalidade e ordem? Quando legar a autonomia ou a autoridade visual a algoritmos e analíticos de imagem torna-se um projeto para perpetuar práticas ilegítimas em uma dimensão técnica? Nos parece que algoritmos preditivos condicionados por determinados e vários agenciamentos, traduzidos em variáveis e pesos em suas equações lógicas, têm sido introduzidos em sistemas de vigilância e monitoramento e acoplados aos dispositivos de segurança não apenas para atentar contra as diversas invisibilidades e imbuir a ação policial (ou militar) de maior racionalidade e eficiência, mas como forma de repor perpetuamente mecanismos de assujeitamento de parcelas da população. A discricionariedade e a arbitrariedade das ações policiais recebem um verniz técnico de legitimidade, garantindo a sua permanência e expansão: o viés é o ethos do sistema, ou como nos lembra Virilio, velocidade e acidente são faces da mesma moeda.

Sonhos elétricos de ordem e cidadania
Desde os anos 1990 David Garland já vinha apontando para a emergência de uma “nova cultura do controle” nos EUA em que as práticas de vigilância e monitoramento deixam de estar focadas apenas sobre suspeitos e passam a se orientar para todos, identificando sinais de perturbações futuras, como comportamentos suspeitos, zonas de decadência e depredação, ao mesmo tempo em que se busca enaltecer o caminho da normalidade não como uma imposição, mas uma sugestão de melhor curso racional a ser seguido. Nessa “nova cultura” são cruciais os mecanismos de governo de condutas, modulando-as em todo o espectro social de forma a estimular práticas consideradas saudáveis e normais, facilitando o processo de identificação e sancionamento dos “desvios”.

É justamente com o fortalecimento desse cenário, no pós 11 de setembro, e diante da proliferação de novas tecnologias informacionais que ganha fôlego o discurso de cidades inteligentes enquanto uma gama de políticas públicas, instrumentos e parcerias capazes de constituir as bases materiais e cognitivas para atender a esse modelo de segurança ampliado. Os ideais policialescos de ordem e segurança enquanto racionalização e reversão da “confusão” dos ambientes urbanos, conforme apontados por Allen Feldman em 2004, seriam passíveis de serem construídos e executados por algoritmos analíticos e preditivos.

Portanto, esse movimento promove uma ampliação do caráter das políticas de segurança, que deixam de ser orientadas apenas para a proteção do cidadão (security), mas se ocupam do seu bem-estar de modo geral (safety), justificando, assim, uma maior interconectividade das práticas de vigilância em todos os espectros sociais, inclusive transformando os cidadãos em vigilantes (e/ou produtores de dados, “hubs” informacionais) para garantir a eficiência desse processo de modulação. A segurança deixa de ser uma função disciplinar, tornando-se uma função da administração ou “guia da desordem”, o que exige o atentado a toda e qualquer forma de invisibilidade que possa turvar as perspectivas a respeito dos fluxos circulantes na sociedade. A cidadania converte-se em um vigilantismo digital permanente, em que o compartilhamento de informações e o livre arbítrio do seu “duplo digital” não são uma questão de escolha, mas um elemento formador de caráter e estruturante da sua vida social.

Diante disso, mais do que refundarem o papel da cidadania enquanto vigilantismo e compartilhamento de dados e reporem formas de assujeitamento nas políticas de segurança, os agenciamentos algorítmicos que se fazem presentes em diversos instrumentos policiais têm o potencial de tornar suas predições “auto-realizáveis”. Isto é, algoritmos preditivos não buscam unicamente identificar indivíduos a partir de seus atributos físicos, mas predizer situações e comportamentos a partir de um conjunto de sinais, gestos e movimentos. A depender dos pesos e critérios atribuídos a esses sinais e à experiência passada que “treina o algoritmo”, um determinado curso de ação é apontado como certo. Um vaticínio que elimina outros cursos de ação possíveis, esmagando a subjetividade dos sujeitos e de seus movimentos no momento em que conformam as inúmeras possibilidades de ações futuras a um compêndio de ordenamentos pré-estabelecidos. Aquilo que é incerto e invisível torna-se certo, claro, racional e presente, como uma vontade que se realiza apenas por se considerar a sua possibilidade, autorizando e legitimando ações discricionárias sob o manto preemptivo-proativo.

Conclusões
Como expõe Cathy O’Neil, o fato de muitos programadores ou matemáticos que desenvolvem algoritmos pouco saberem sobre os usos e finalidades de seus “produtos” abre espaço para ingerências pouco transparentes durante o processo criativo. Essa “opacidade” dos agenciamentos algorítmicos, associada a uma mentalidade tecnocrática que insiste em separar o técnico e o social, contribui para que uma parcela expressiva das autoridades e da sociedade não questionem os limites dessa governamentalidade algorítmica e dessa heteronomia. É nesse contexto que a autora insiste em afirmar que essa dinâmica de governamentalidade algorítmica tende a privilegiar uma parcela da sociedade, geralmente mais abastada e que nunca será considerada um desvio a ser normalizado, enquanto atinge uma parcela expressiva de desprivilegiados, produzindo exclusões, cerceamentos e discriminações.

A rigor, a opacidade dos agenciamentos algorítmicos é a antessala do fetichismo. Nela estão mascarados os procedimentos de seu desenvolvimento e a intrincada rede de interesses que o organiza e consequentemente as relações de produção, precarização e consumo que buscam tornar eficientes e a intencionalidade que governa as políticas de segurança que eles reordenam. É nesse contexto em que sistemas de vigilância “inteligentes” – que, a priori, instaurariam um regime de visibilidade capaz de impedir abusos e práticas ilegais –, ao se estruturarem no entorno do “preditivismo”, têm o potencial de perpetuar tradicionais formas de assujeitamento, exclusão e segregação.

O enfrentamento desses processos envolverá cada vez mais mobilizações coletivas e ordenadas no campo institucional, como vêm fazendo diversas redes de ativistas e de pesquisadores, no sentido de limitar os excessos dessa governamentalidade algorítmica. Linnet Taylor também entende que a opacidade algorítmica e a ubiquidade dos instrumentos de coleta de dados e vigilância têm como efeito a permanente reprodução de desigualdades socioeconômicas e de processos discriminatórios. No entanto, a reação a isso pode se dar a partir do momento em que se constituem bases éticas nas quais um conjunto de leis podem ser amparadas. Esse conjunto pode girar em torno de três pilares que integrariam direitos e liberdades positivas e negativas, como a visibilidade, o engajamento com a tecnologia e os processos antidiscriminatórios. Respectivamente, a assunção de um pilar ético que se baseia na visibilidade de dados, atenta contra as diversas ingerências obscuras sobre o desenvolvimento dos algoritmos e sobre a privacidade na coleta de dados; por sua vez, o pilar do engajamento tecnológico tem por objetivo garantir ao consumidor plena ciência a respeito do partilhamento de seus dados, dos benefícios que terceiros têm auferido disso bem como garantir certa autonomia na escolha das tecnologias e regras de partilhamento de dados diante desse novo mercado; e por fim, o pilar da não discriminação visa à construção de mecanismos que previnam a ocorrência de vieses (através de auditorias nos processos de desenvolvimento) e de formas de discriminação com esses instrumentos, inclusive criando legislações mais severas a infratores.

A lógica que fundamenta essa arquitetura institucional-reativa não é de forma alguma limitadora do progresso técnico e seus agenciamentos, mas visa assegurar que a governamentalidade se dê em ambientes em que os acidentes e excessos sejam minimizados. E isso somente é possível se estivermos dispostos a nos despojarmos do conforto e eficiência propostas pelas instruções algorítmicas de nossas ações e relações de consumo em favor de uma consciência e autonomia sobre os mecanismos que nos governam.

Alcides Eduardo dos Reis Peron é pesquisador de pós-doutorado (Fapesp) na Faculdade de Filosofia e Ciências Humanas da USP, onde desenvolve o estudo “Punição preditiva: o detecta e a incorporação de técnicas de mineração de dados e perfilização (big data) nas práticas de vigilância e monitoramento da Polícia Militar paulista”. Graduado em relações internacionais (2006) e ciências econômicas (2007) pela Facamp e doutor em política científica e tecnológica pela Unicamp (2016), Peron integra o Grupo de Análise de Políticas de Inovação (Gapi), o Grupo de Estudos em Tecnologias de Defesa e Evolução do Pensamento Estratégico (Geted) e a Rede de Pesquisa em Paz, Conflitos e Estudos Críticos de Segurança.