Por Fernanda Pardini Ricci e Maíra Torres
As tecnologias são majoritariamente produzidas por pessoas que têm raça e classe bem definidas e, geralmente, compreensões de mundo distintas em relação a pessoas negras. Na prática, mesmo que essa tecnologia erre, ela está acertando alguém, de um grupo muito bem definido, perpetuando o processo de persecução penal de pessoas negras e de super encarceramento dessa população no Brasil.
Quando usamos a internet, especialmente dentro das plataformas digitais como as redes sociais, temos uma dinâmica de relações que vai privilegiar os interesses de mercado. “Isso passa a perpetuar nas redes dinâmicas de poder, muito bem definidas. Há muito tempo que a gente tem essa lógica de que aquilo que é rentável e comercializável tem cor, raça, e gênero muito bem definidos socialmente. É o fenômeno da plataformização da vida”.
A reflexão é da advogada e professora de Direito Digital no Instituto Brasileiro de Desenvolvimento e Pesquisa (IDP – Brasília), Bianca Kremer. Ela argumenta a favor da urgência da necessidade da criação de um amparo legal que defenda os direitos das minorias da população.
Doutora em Direito pela PUC-Rio, Kremer atua como advogada e consultora em policy & advocacy. Atualmente é coordenadora de pesquisa no CEDIS-IDP, no projeto IDP Privacy Lab, tendo como principais temas de pesquisa: regulação da tecnologia, privacidade e proteção de dados pessoais, inteligência artificial e relações étnico-raciais no Brasil.
Em entrevista à revista ComCiência, a pesquisadora aponta a falta de transparência no funcionamento dos algoritmos como uma das maiores dificuldades em se promover uma internet mais igualitária.
Você já afirmou que a opacidade algorítmica e dificuldade de treinamento das tecnologias podem replicar lógicas que reforçam as desigualdades e o racismo estrutural. Como os algoritmos podem ser discriminatórios?
Os algoritmos funcionam com reconhecimentos de padrões a partir de grandes bancos de dados. Quanto mais automatizado for esse aprendizado, mais autonomia há em relação à interferência humana direta no seu funcionamento. Precisamos de um olhar mais atento aos efeitos sociais dessa tecnologia, porque ela não será experimentada da mesma maneira por todas as pessoas. Vivemos em uma sociedade rompida pela lógica da colonialidade, por dinâmicas hierárquicas sociais que geram diferença de experimentação, especialmente se considerarmos categorias de opressão, como gênero, raça, classe, sexualidade e deficiência.
Qual a origem do problema?
Quando usamos a internet, especialmente dentro das plataformas digitais (como as redes sociais), temos uma dinâmica de relações que privilegia os interesses de mercado. Isso passa a perpetuar nas redes dinâmicas de poder muito bem definidas. Há muito tempo temos essa lógica de que aquilo que é rentável e comercializável tem cor, raça, e gênero muito bem definidos socialmente. É o fenômeno da plataformização da vida.
O objetivo central das plataformas digitais e da forma como a internet vem sendo capturada é a propaganda. As plataformas não são amiguinhos, são um modelo de negócio, e para se tornarem rentáveis é importante que estejamos cada vez mais presentes nelas. Se determinados corpos não representam rentabilidade expressiva, eles serão excluídos dessa lógica de enunciação, de vontades, de expressão de beleza e presença.
Pensando no campo da inteligência artificial e da necessidade de inclusão, em que situações as pessoas costumam ser prejudicadas por esse tipo de tecnologia, como o reconhecimento facial, por exemplo?
O reconhecimento facial tem sido utilizado não só pelo setor público para segurança e persecução penal, como pelo setor privado, para autenticação de identidades em aplicativos. A crítica não é o uso da tecnologia em si, mas ao mau uso do reconhecimento facial, quando ele é produzido para uma finalidade e acaba sendo experienciado de uma forma que produza violências, sobretudo de raça. Por exemplo, quanto o uso no setor da segurança pública não tem reiterado a construção de um arquétipo criminoso? Há uma falta de transparência muito grande sobre a composição dos grandes bancos de dados policiais.
Essas tecnologias não são seguras para a população porque reproduzem binarismos. As pessoas trans, quando são identificadas ou autenticadas nas suas biometrias pelos espaços públicos, estão muito mais submetidas a processos de violência das suas identidades, em comparação a pessoas cisgêneras. Têm questionada a sua identidade de gênero em diversos espaços, e essas tecnologias reforçam a cisheteronormatividade que as impedem não apenas de acessar produtos e espaços como também reiteram a violência que sofrem.
Por que a chance de erro ao usar tecnologia de reconhecimento facial pela polícia é maior com pessoas negras?
Essas tecnologias são majoritariamente produzidas por pessoas que têm raça e classe bem definidas e, geralmente, compreensões de mundo distintas em relação a pessoas negras, criadas a partir de um outro lugar. Os brancos não experienciam as dinâmicas de violência da mesma maneira que os negros. E isso vale não apenas para o Brasil, mas no mundo. Na prática, mesmo que essa tecnologia erre, ela está acertando alguém, de um grupo muito bem definido, perpetuando o processo de persecução penal de pessoas negras e de super encarceramento dessa população no Brasil.
As tecnologias erram mais com a identificação de rostos negros porque são produzidas por pessoas brancas. O índice de acerto de identificação é muito menor em porcentagem em comparação a pessoas brancas, como mostram estudos internacionais. Ao mesmo tempo, nós também absorvemos e adquirimos tecnologias produzidas no norte global para funcionar no sul, com outros rostos e outras dinâmicas de poder no contexto social. Isso nos leva a questionar qual a finalidade da adoção dessas tecnologias, se elas de fato se traduzem em maior segurança para as atividades policiais. Há maior segurança para quem?
Há um projeto de lei do estado de São Paulo (PL nº 385 /2022) para proibir o uso de tecnologia de reconhecimento facial pelo poder público. O que pensa sobre iniciativas como essa?
Não temos uma legislação que permita expressamente o uso de tecnologias dessa natureza pelo setor público, especialmente no campo da segurança. Temos, no entanto, a LGPD, que não proíbe o uso, mas traça diretrizes para dar maior segurança em relação ao tratamento dessas informações pelos setores públicos e privados. Questões relacionadas à segurança e defesa nacional vão precisar de uma regulação específica. Então, diante desse silêncio da lei, temos uma adoção cada vez maior dessas tecnologias, sem regulamentação e aferição dos riscos para a população, especialmente para os grupos marginalizados.
Essa vigilância massiva da sociedade dentro de uma lógica conservadora bastante problemática favorece um ecossistema político e jurídico muito policialesco e que se coloca acima de direitos fundamentais e da dignidade das pessoas. É difícil ver um panorama em que esses projetos de leis, de fato, vão produzir frutos robustos na sociedade como um todo.
Quais são as dificuldades da área do direito junto à governança para combater ou evitar essas discriminações provocadas pelos algoritmos?
A governança da internet surgiu no cenário internacional, num contexto de internet dominado por grandes empresas estadunidenses. Considerando isso, em que medida essa governança da internet de fato consegue produzir efeitos para salvaguardar direitos, em comparação a perpetuação de interesses de grandes conglomerados econômicos? Em que medida somos atores dentro desse cenário ou somos mera mão de obra dando espaço para que essas empresas continuem nesse patamar de influência no espaço digital?
A governança da internet tem muito a avançar no mundo. No Brasil, também tenho as minhas considerações sobre porque essa governança da internet não é tão expressiva para garantir os interesses de toda a coletividade do país. A gente tem um comitê gestor da internet no Brasil, o CGI, que representa o Brasil não apenas em caráter de infraestrutura, funcionamento da internet, como também de propagação e difusão da internet em todos os espaços da nossa sociedade. Ele é expressa e majoritariamente composto por homens brancos acima de 50 anos [hoje, menos de 20% do conselho é feminino]. Temos, a passos lentos, ampliado a participação feminina e para além do Sudeste. [conheça o processo de constituição do CGI.br ].]
Então, para o Brasil avançar, o debate precisa ser racializado, não apenas no caráter da teorização, mas para a gente entender quais são as necessidades da populações ribeirinhas, das populações afro e indígenas, das populações quilombolas, porque essas são as pessoas que menos têm acesso a internet e à uma internet de qualidade em comparação aos grandes centros urbanos.
Qual o cenário legal atual sobre o embate entre direito à privacidade e o uso de inteligências artificiais, como o reconhecimento facial?
Hoje temos a tramitação do projeto da Lei Geral de Proteção de Dados Penal para regular o uso de tecnologias pelos órgãos de segurança pública, processos de regulação de plataformas como o das fake news, e outros projetos que tangenciam a regulação desses meios em diversos aspectos do seu funcionamento, seja no caráter concorrencial ou de coibição de desinformações.
Temos ainda reformas no Código de Processo Penal em trâmite, sobretudo ao acesso e uso de prova de digitais no ambiente judicial e administrativo, no campo da persecução penal, da segurança pública e das investigações criminais. Por fim, existe também uma comissão de juristas que está desenvolvendo um substitutivo de lei para ter um marco legal da inteligência artificial, regulando seus usos no Brasil.