Discriminação algorítmica, vigilância eletrônica e questões de segurança

Os estudos e debates relacionados aos impactos trazidos pelas tecnologias baseadas em inteligência artificial (IA) vêm sendo recorrentes em diversos setores, tendo em vista o vasto caminho de oportunidades e de desafios proporcionados, nos âmbitos das relações públicas e privadas. Sendo um termo "guarda-chuva", multivetorial, essas tecnologias abrangem diversos aspectos da vida humana, ao serem empregadas nos mais diversos postos de trabalho, para maximizar funções, na saúde, para diagnosticar e prevenir doenças, nos setores de segurança pública, na identificação de tendências econômicas e tendências sobre o comportamento humano, além de servir como fonte de entretenimento, lazer e de fortalecimento da cibercultura, o que demonstra que, tal como apontado por Danilo Doneda et al (2018), com o aumento e com o constante aprimoramento das IA's, foram gerados efeitos que não podem ser compreendidos, meramente,  por termos quantitativos,  pois o desenvolvimento desse ramo tecnológico traz fortes implicações nas relações intersubjetivas, econômicas, culturais e políticas.

Daí, cabe tecer que, em linhas gerais e introdutórias, a IA é baseada em "algoritmos inteligentes ou algoritmos de aprendizagem", ou seja, é composta por "um conjunto preciso de instruções ou regras, ou com uma série metódica de etapas que podem ser usadas para realizar cálculos, resolver problemas e tomar decisões" (CORVALÁN, 2017, p.299), funções essas que, a depender dos softwares utilizados, podem permitir que esses sistemas inteligentes venham a desempenhar funções inerentes à racionalidade e à discricionariedade humana, como pode ser observado nas marchines learning (SOUZA MELLO, 2021).

Uma vez que esses sistemas de IA são moldados por dados extraídos da realidade social como recursos audiovisuais, textos, dentre outras formas de externalização do comportamento relacional humano e, tendo em vista que essas informações têm como substrato realidades empíricas marcadas por múltiplos problemas estruturais relacionados às questões étnico-raciais, questões de ordem econômica, de gênero como condutas machistas, sexistas, misóginas, por questões que envolvem aspectos sobre as orientações sexuais em uma cultura heteronormativa, aduz-se que existe um grande risco da captura e utilização desses dados, para a manutenção do sistema hegemônico que molda as relações de poder e de dominação, ao fomentar formas de discriminação e de criminalização de determinadas pessoas ou grupos sociais em posições de vulnerabilidades. 

Mendes e Mattiuzzo (2019), ao analisarem esses efeitos negativos, sintetizam que os atos discriminatórios sobre essas classes podem se manifestar de diversas formas, sendo algumas delas: a discriminação por erro estatístico que ocorre, por exemplo, nas situações em que os dados são coletados de forma incorreta, quando há problemas no código dos algoritmos; discriminação por generalização, quando alguma pessoa é classificada de forma equivocada, por sistemas que têm uma informação parcial da realidade; discriminação pelo uso de informações sensíveis, nas situações em que os sistemas colhem e utilizam dados protegidos legalmente e sem nenhum tratamento compatível com a legislação; e discriminação limitadora dos exercícios de direitos, diante do mau uso da informação coletada em processos relacionados à promoção de direitos e garantias fundamentais.

Daí, extrai-se que as atuais políticas de proteção dos dados no contexto de avanço das IA's, além de buscarem criar caminhos para o pleno desenvolvimento tecnocientífico, vêm buscando compatibilizar a busca pelo progresso com os mecanismos de proteção à pessoa. Por esse prisma, busca-se reduzir os riscos dessas informações se tornem instrumentos capazes de fomentar desvios técnicos e humanos, de modo a evitar que essas informações se transformem em mero produto para cumprir os interesses egoísticos do mercado, prevenindo-se, assim, a instrumentalização e a patrimonialização do corpo humano digital (RODOTÀ, 1999; MELLO, 2023). 

Fazendo um recorte do uso dessas tecnologias disruptivas, já é possível demonstrar que abusos vêm sendo perpetrados na seara criminal. Hoje em dia, por exemplo, já se fala na junção das IA's com as neurotecnologias que estão em fase de desenvolvimento, diante das promessas de leitura, de decodificação e de uma possível alteração do comportamento humano, inclusive para a prevenção de predisposições para a consecução de atos criminosos, o que demonstra o quão tenaz serão os efeitos desses avanços nas questões relacionadas à liberdade cognitiva, à autodeterminação e à privacidade mental (SOUZA MELLO, 2021).

Outra questão reiteradamente apontada se dá nos casos em que há o uso das tecnologias de reconhecimento facial na segurança pública, com o propósito de prevenir crimes, de identificar suspeitos e foragidos da justiça (SOUZA MELLO, 2021; ZUCCHIETTI FILHO, 2022). Ainda, com a leitura facial, tais mecanismos vêm sendo usados para identificar os estados da mente ligados às emoções e aos possíveis comportamentos daí decorrentes. Isto posto, insta dizer que, basicamente, essas tecnologias permitem o reconhecimento facial através do registro e da correspondência ou reconhecimento da imagem pessoal inserida no banco de dados, sendo que essas fases podem estar divididas em quatro etapas, sendo elas: a "captura, desconstrução, armazenamento e comparação, a depender da finalidade para qual a tecnologia será utilizada" (TEFFÉ; FERNANDES, 2020, pp294-295).

Nesse interim, o sociólogo David Lyon (2014), ao estudar a vigilância no cenário de constantes transformações tecnológicas, reafirma que vivemos em uma fase de vigilância eletrônica, onde a utilização dos dados inseridos nos ambientes virtuais possibilita traçar os perfis emocionais, os padrões comportamentais, gostos, vulnerabilidades, alterando também a própria concepção de privacidade dos usuários no contexto da Big Data (SOUZA MELLO, 2021). De acordo com Stefano Rodotà, a preocupação concernente ao uso abusivo dessa forma de vigilância se dá, principalmente, pelo fato de haver uma coleta generalizada de informações que acaba, por conseguinte, alterando as relações sociais e colocando todos os cidadãos no status de suspeitos em potencial, ou melhor, "a nation under suspicion" (RODOTÀ, 2004, p.99). Rodotà também enxerga que essas tecnologias aumentam a vulnerabilidade social, por razões que vão da simples coleta e uso desses dados por esses sistemas inteligentes que podem ter algum tipo de viés, até questões relacionadas à própria segurança para impedir que haja o vazamento de dados, por ações criminosas ou terroristas (RODOTÀ, 2004).

Nesse diapasão, a utilização da inteligência artificial com a finalidade de assegurar a manutenção da ordem pública, vem sendo uma realidade que cresce exponencialmente, em especial, nos grandes centros urbanos marcados por grandes índices de violência. Porém, como uma face dessa mesma moeda, surge o problema umbilicado à busca dessa paz, da ordem e da segurança pública, qual seja: a constatação de que determinados grupos sociais que são alvos da malha do sistema penal e que, por isso, estarão "pré-dispostos" e "pré-selecionados", pela falta de neutralidade algorítmica, a sofrerem um eminente aumento da repreensão injustificada e contrária à ordem constitucional que, uma vez estando ancorada na norma vetora da dignidade da pessoa humana, preza pelos valores fundamentais como à vedação de formas discriminatórias, pelo devido processo legal, além da hermenêutica voltada ao garantismo seguir o norte que compreende a importância da lógica do in dubio pro reo, frente às tentativas de inversão da lógica penal em benefício do in dubio pro societate e do sistema inquisitorial que inverte toda a lógica de produção e inversão do ônus das provas, fortalecendo as situações fáticas relacionadas às disparidades de poder.

 Pensando sobre essas novas formas inquisitoriais trazidas pela quarta revolução, o mercado e as instituições que se propõem a aplicar a lógica de criminalização, já contam com softwares futurologistas que avaliam os riscos dos agentes, "através do estudo da personalidade, antecedentes criminais e outras informações do suspeito/acusado (nível de escolaridade, situação atual de (des) emprego e de residência, envolvimento pretérito com uso abusivo de drogas)" (ZUCCHIETTI FILHO, 2022). Tal como ocorreu no "caso Loomis", quando um sistema de inteligência artificial chamado COMPAS foi utilizado por juízes estadunidenses para analisar se o acusado poderia ou não voltar a cometer alguma prática delituosa e o sistema apontou que havia um "alto risco de cometer novos crimes" (DUARTE, 2018).

Por essas razões, mediante uma releitura dos ensinamentos do ilustre penalista Zaffaroni, acredita-se que, com o uso da força e da violência institucionalizada dentro do sistema penal e, com o auxílio desses aparatos tecnológicos, o poder repreensivo vem tendo o seu campo de atuação maximizado, pelos processos de criminalização que buscam fortalecer os imaginários de transgressão social e, assim, legitimar as formas de controle que tolhem todo e qualquer ato contrário às noções abstratas estabelecidas de proteção à ordem social (ZAFFARONI, 2003). 

Nesse diapasão, Silvana Bahia, integrante do Grupo de Pesquisa em Políticas e Economia da Informação e Comunicação da UFRJ, ao refletir sobre as formas de discriminação algorítmica nas questões raciais, sobre uso das câmeras de reconhecimento facial e sobre o impacto desses elementos na política criminal, afirma que:

"(…) o racismo algorítmico ocorre quando sistemas matemáticos ou de inteligência artificial são pautados por informações enviesadas/tortas que alimentam e regem seu funcionamento. As consequências são muitas, mas talvez a maior delas seja o aumento de desigualdades, sobretudo em um momento onde estamos cada vez mais tendo muitos dos nossos gostos e políticas mediadas por máquinas, com o avanço da tecnologia" (MELO; HERCOG, 2019 apud SOUZA MELLO, 2021).

Ilustra-se as colocações supracitadas referentes aos usos abusivos do reconhecimento facial nas discriminações algorítmicas, com os casos de vídeo-monitoramento na Micareta de Feira de Santana. Em tal evento, o sistema de vigilância capturou mais de 1 milhão de rostos de pessoas, gerou 903 alertas, dos quais houveram 18 cumprimento de mandados e 15 prisões, ou seja, 96% dos casos não resultaram em nenhuma medida de segurança (MELO; HERCOG, 2019; SOUZA MELLO, 2021). No País de Gales também aconteceu algo semelhante quando o poliamento local, ao utilizar essa tecnologia entre os anos de 2017 e 2018, sinalizou 2.685 casos suspeitos e, ao analisarem os casos mais a fundo, observaram que 2.451 casos foram alarmes falsos (FOX, 2018).

De modo a enfatizar que tais vieses se interrelacionam com diversas problemáticas sociais pré-existentes e que tais têm o condão de potencializá-las em diversos cenários e situações fáticas de vulnerabilidade, sobre a questão misógina, recentemente, foi divulgado que o Irã almeja ampliar as formas de vigilância nos espaços públicos para controlar e punir as mulheres que desrespeitam as formas de uso do véu islâmico hijab (SCHENDES, 2023).

Seguindo essa cadeia exemplificativa e retomando a preocupação esboçada por Rodotà de se colocar toda a nação sobre suspeita, há a situação envolvendo as formas de vigilância no governo chinês que vem usando as tecnologias de reconhecimento facial e outras formas de controle e uso dos dados pessoais, para controlar a população, diante do sistema de créditos sociais que é responsável por promover o aumento vertiginoso das formas de controle e de domesticação das grandes massas (MUDDITT, 2022). Embora esses sistemas sejam criados para gerar um falso sentimento de segurança, de proteção quanto à prática dos atos desviantes, vislumbra-se que a sua utilização pode aumentar as formas de banimento e perseguição sobre determinados grupos, impactando diretamente na própria esfera privada, além de neutralizar os processos emancipatórios trazidos pelos movimentos sociais que são contrários às formas de injustiças institucionalizadas. 

Essa situação evidencia a gravidade do uso indiscriminado dessas tecnologias que, além de colocar toda a coletividade em um estado de hipervigilância e de criar figuras sociais caracterizadas como potenciais agentes desviantes, promove o que a doutrina vem denominando como autoritarismo digital, ou seja, com o uso indevido do rol de tecnologias de informação digital, criam-se regimes de vigilância, de repressão e de manipulação da sociedade (POLYAKOVA; MESEROLE, 2019).

Em suma, a partir das problemáticas elencadas, pode-se vislumbrar que, como consequência do mau uso dessas tecnologias no âmbito das ciências criminais no contexto da hipervigilância, do autoritarismo digital e de toda incorporação da tecnologia para perseguição e banimento dos grupos e corpos "criminalizáveis", ampliam-se as chances de haver a utilização abusiva desses sistemas inteligentes na vigilância pública, a produção de provas enviesadas, a apreciação judicial com base nas programações que promovam, de forma apriorística, análises preditivas de determinadas pessoas ou grupos tomando por base os dados pessoais que, a depender da forma de uso, tornaram-se sensíveis como o uso abusivo de informações ligadas à etnia, à orientação sexual, questões de gênero e dados referentes à geolocalização.

________________________

Referências bibliográficas
CORVALÁN, Juan. Inteligencia artificial: retos, desafíos y oportunidades. Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia. Revista de Investigações Constitucionais, v. 5, n. 1, 2017.

DONEDA, Danilo et.al. Considerações iniciais sobre a inteligência artificial, ética e autonomia pessoal. Pensar, Fortaleza, v. 23, n. 4, p. 1-17, 2018.

DUARTE, Fernando. Nove algoritmos que podem estar tomando decisões sobre sua vida – sem você saber. BBCNEWS BRASIL, 4 FEV. 2018. Disponível em: < https://www.bbc.com/portuguese/geral-42908496>. Acesso em: 18 fev. 2023

FELIPE, Bruno Farage da Costa; PERROTA, Raquel Pinto Coelho. Inteligência Artificial no Direito: Uma realidade a ser desbravada. Revista de Direito, Governança e Novas Tecnologias. V. 4, nº 1, 2018.

FOX, Chris. Face recognition police tools 'staggeringly inaccurate'. BBCNEWS, 2018.Disponível em: https://www.bbc.com/news/technology-44089161. Acesso em: 15 dez. 2022.

LYON, David. Surveillance, Snowden, and big data: Capacities, consequences, critique. Big Data & Society, v. 1, n. 2, 2014.

MCCARTHY, J. What is artificial intelligence?. 2000. Disponível  em: http://www.formal.stanford.edu/jmc/whatisai.pdf. Acesso em: 10 fev. 2023

MELO, Paulo; HERCOG, Alex. O racismo que estrutura as tecnologias digitais de informação e comunicação. Brasil de fato, 2019. Disponível em: https://www.brasildefato.com.br/2019/12/03/artigo-or-o-racismo-que-estrutura-as-tecnologias-digitais-de-informacao-e-comunicacao/. Acesso em: 10 dez. 2022

MELLO, B. C. de S. Patrimonialização da personalidade post mortem por meio da reconstrução digital. Conjur, 05 jan. 2023. Disponível em: < https://www.conjur.com.br/2023-jan-05/souza-mello-patrimonializacao-personalidade-post-mortem>. Acesso em: 21 jan. 2023.

MENDES, Laura; MATTIUZZO, Marcela. Proteção de Dados e Inteligência Artificial: Perspectivas Éticas e Regulatórias. RDU, Porto Alegre, Volume 16, nº 90, 2019, 39-64, nov-dez 2019.

MUDDITT, Jessica. A democracia que usa reconhecimento facial para registrar os rostos de seus cidadãos. BBBNEWS, 2022. Disponível em: < https://www.bbc.com/portuguese/vert-fut-62204528>. Acesso em: 08 fev. 2023.

POLYAKOVA, A.; MESEROLE, C. Exporting digital authoritarianism. Brookings, 2019.

RODOTÀ, Stefano. Para uma cidadania eletrônica: a democracia e as novas tecnologias de comunicação, 1999. In: Os cidadãos e a sociedade de informação, Lisboa. Disponível em:<http://ancacid.yolasite.com/resources/11.003%20-%20ISI%20-%20T%C3%B3pico%2011%20-%20RODOT%C3%80%2C%20Stefano%20-%20Para%20uma%20cidadania%20electr%C3%B3nica.pdf>. Acesso em: 10

RODOTÀ, Stefano. A vida na sociedade da vigilância: a privacidade hoje. Editora: Renovar, Rio de Janeiro, 2008.

RODOTÀ, Stefano. Transformações do corpo. Revista Trimestral de Direito Civil,v. 19, n. 5, jul/set. 2004. Disponível em: https://www.lexml.gov.br/urn/urn:lex:br:rede.virtual.bibliotecas:artigo.revista:2004;1000725693. Acesso em: 09 fev. 2023

SCHENDES, Willian. Irã usa reconhecimento facial para punir mulheres que não utilizam hijab. Olhar Digital 12 jan.2023. Disponível em: < https://olhardigital.com.br/2023/01/12/pro/ira-usa-reconhecimento-facial-para-punir-mulheres-que-nao-utilizam-hijab/>. Acesso em: 10 fev. 2023.

SCHWARB, Klaus. A quarta Revolução Industrial. São Paulo: EDIPRO, 2016.

SOUZA MELLO, B. C. de. Inteligência artificial e a não neutralidade dos algoritmos sobre os "corpos dóceis". Revista Vianna Sapiens, [S. l.], v. 12, n. 2, p. 24, 2021. DOI: 10.31994/rvs.v12i2.776. Disponível em: https://viannasapiens.com.br/revista/article/view/776. Acesso em: 10 fev. 2023.

TEFFÉ, Chiara; FERNANDES, Elora. Tratamento de dados sensíveis por tecnologias de reconhecimento facial: proteção e limites. In: Rodrigo da Guia Silva e Gustavo Tepedino (Coordenadores). O Direito Civil na Era da Inteligência Artificial. 1 ed. São Paulo: Thomson Reuters Brasil, 2020).

ZAFFARONI, Eugenio Raúl. A palavra dos mortos: conferências de criminologia cautelar. São Paulo: Saraiva, 2003.

ZUCCHETTI FILHO, Pedro. Softwares que preveem probabilidade de cometimento de crime são confiáveis?   Revista Consultor Jurídico, 12 de setembro de 2022, 19h13. Disponível em: < https://www.conjur.com.br/2022-set-12/pedro-zucchetti-sistemas-avaliacao-risco-justica-criminal#_ftnref>. Acesso em: 10 fev. 2023.