Vigilância algorítmica e o EU AI Act: limites regulatórios para identificação biométrica

Os Deuses por Trás das Máscaras e a vigilância algorítmica

Amaka, um jovem hacker e especialista em DeepMask é o personagem fictício do conto Os Deuses por Trás das Máscaras, de Kai-Fu Lee e Chen Qiufan. A história se passa em Lagos — conhecida como “O Vale do Silício do Oeste Africano” —, uma megalópole envolta em um cenário futurístico e distópico, onde câmeras de reconhecimento facial cobram automaticamente as tarifas do transporte público [1], robôs faxineiros circulam pelas ruas e as pessoas conseguem interagir com os outdoors. Para fugir do pagamento das tarifas e, acima de tudo, se proteger das autoridades, Amaka utilizava uma máscara 3D para burlar o algoritmo de reconhecimento que tornava Lagos uma espécie de panóptico, convergindo os mundos de Michel Foucault (Vigiar e Punir) e George Orwell (1984) num ecossistema digital, ressignificando a relação ente liberdade e segurança.

Num país dividido por mais de 250 grupos étnicos, as etnias Iorubás (grupo dominante em Lagos) e Igbos (a qual pertencia Amaka) se envolviam em conflitos violentos buscando ganhos políticos. Sendo chamado para comparecer a uma falsa entrevista de emprego, Amaka é recrutado por “Chi” (pertencente ao grupo clandestino Igbo Glory) para produzir um vídeo falso utilizando uma “hiper-rede adversária generativa” [2] e criar um modelo de “DeepMask” para desmascarar o avatar digital de “Faka”, que havia alcançado popularidade ao simular o rosto do lendário músico e ativista Fela Kuti.

O DeepMask é uma tecnologia presente no ano de 2041 (época em que se passa a história) que se tornara a sucessora do Deepfake, com a potência de enganar o olho humano produzindo fakes de alta qualidade. O grupo Igbo Glory acreditava que ultranacionalistas Iorubás estavam explorando a popularidade do avatar de “Faka” para manipular a mente das pessoas, ganhando terreno na luta política que travavam. Assim, a missão de Amaka seria a de criar um Deepfake perfeito e revelar que o avatar de Fela Kuti pertenceria na verdade a um político Iorubá chamado “Repo”, adversário dos Igbos.

Para tanto, Amaka precisaria enganar o Detector VIP, um sistema avançado de verificação digital [3] construído para proteger a reputação de figuras públicas suscetíveis de serem alvo de Deepfakes [4].

Bem, em homenagem ao princípio da vedação ao spoiler, abstenho-me de revelar o desfecho da narrativa, sugerindo a leitura da obra “2041. Como a inteligência artificial vai mudar sua vida nas próximas décadas” [5]. A história, para o que nos interessa nesse momento, envolve temas sensíveis e atualíssimos, tais como: a visão computacional; redes neurais; Deepfakes; rede adversária generativa; segurança em IA; e a identificação humana-biométrica.

<i>EU AI Act</i> e a regulamentação da IA na UE

A identificação humana-biométrica, aspecto que iremos abordar a partir de agora, foi objeto de recente regulamentação na União Europeia por meio do EU AI Act [6], legislação que traz importantes diretrizes a respeito de como a inteligência artificial (IA) poderá (e deverá) ser utilizada no bloco europeu. Apesar de não trabalhar com uma definição precisa, a legislação colacionada algumas características essenciais que possibilitam distinguir a inteligência artificial de outros softwares tradicionais.

Os sistemas de inteligência artificial consistem em tecnologias lastreadas em dispositivos computacionais ou outras máquinas (“machine-based”) que desempenham funções usualmente atribuídas à inteligência humana mediante a análise de dados e a execução de tarefas que vão desde o reconhecimento de padrões até a tomada de decisões complexas:

“Essa capacidade de inferência é o que verdadeiramente distingue os sistemas de IA dos softwares tradicionais. Em vez de simplesmente seguirem regras pré-programadas, os sistemas de IA analisam os dados e tiram conclusões, permitindo-lhes fazer previsões, criar conteúdos, oferecer recomendações ou até mesmo tomar decisões” [7].

Tais sistemas são caracterizados por operar com distintos níveis de risco e autonomia, podendo variar desde operações quase totalmente autônomas e sem risco aparente (p. ex., filtros de spam), até aquelas que requerem supervisão humana e com alta possibilidade de risco (p. ex., veículos autônomos, sistemas de controle de tráfego e exames médicos). Além disso – e aqui reside grande parte dos problemas futuros –, os sistemas podem apresentar uma adaptabilidade que lhes permite evoluir (learning ability) com base nos dados acumulados após sua implementação; operar vieses e discriminações; camuflar seus processos decisórios (“black boxes”); e, até mesmo, provocar danos sociais e econômicos ao desempenhar funções de relevo que tradicionalmente eram atribuídas a seres humanos [8].

O EU AI Act delimita regras para os diferentes tipos de IA regulando-as de acordo com nível de risco proporcionado e estabelecendo obrigações específicas de governança [9]. Atrelado à proteção de direitos fundamentais [10] (privacidade, não-discriminação, autonomia, tratamento justo, etc.) e alcançando toda e qualquer empresa que pretenda oferecer serviços junto ao mercado europeu, o ato proíbe qualquer violação a esses direitos vedando, entre outras práticas: o uso da IA para manipular o comportamento das pessoas e explorar as suas vulnerabilidades; projetar a pontuação social (social scoring) para classificar as pessoas; realizar um policiamento preditivo prejulgando os indivíduos com base em perfis montados via IA; criar sistemas de reconhecimento facial em massa; deduzir o estado emocional das pessoas com base em expressões faciais, linguagem corporal e outros sinais externos; e efetivar identificação biométrica remota em tempo real.

Segurança pública vs. direito à privacidade

Nas grandes cidades de hoje [11], as pessoas já são reconhecidas por sistemas de monitoramento que se espraiam por milhares de câmeras numa forma de vigilância algorítmica [12] que elimina a expectativa de que qualquer indivíduo possa exercer o seu direito à privacidade e/ou anonimato enquanto transita em locais públicos [13]. As assim chamadas “muralhas digitais” ou “muralhas eletrônicas” são sistemas de vigilância dotados de inteligência artificial capazes de monitorar em tempo real os espaços públicos.

O sistema envolve a utilização de câmeras de alta definição, reconhecimento facial e de placas de veículos e, por vezes, algoritmos preditivos e banco de dados interligados, levantando a discussão a respeito do dever (ético e responsável) do Estado de promover a segurança pública e a tutela da privacidade e proteção de dados pessoais [14].

Não há dúvida de que a IA é uma importante ferramenta que pode auxiliar a sociedade de diversas maneiras, inclusive na localização de pessoas desaparecidas com o emprego de técnicas de reconhecimento facial:

“Em 2009, uma quadrilha de criminosos sequestrou o menino Gui Hao, de três anos, quando ele brincava na frente da loja dos pais na província de Sichuan, na China. O menino sequestrado foi vendido para uma família na província de Guangdong, a cerca de 1500 quilômetros. Em 2014, o líder da quadrilha de traficantes de crianças acabou preso, mas foi impossível localizar Gui Hao e outras vítimas. ‘A aparência das crianças teria mudado tanto’, explicou um policial, ‘que nem os pais conseguiriam reconhecer’.”

No entanto, em 2019, um algoritmo de reconhecimento facial identificou Gui Hao, agora com treze anos, e o adolescente voltou para a família. Para identificar corretamente Gui Hao, a ia se baseou numa velha fotografia tirada quando ele ainda engatinhava. A ia simulou o que deveria ser a aparência de Gui Hao como um adolescente de 13 anos — levando em conta o drástico impacto do amadurecimento, bem como possíveis mudanças na cor do cabelo e no penteado — e comparou a simulação com imagens da vida real [15].

Mas no contexto contemporâneo, as chamadas “muralhas digitais” representam um exemplo vivo e atual da intersecção entre a inteligência artificial, direitos fundamentais e segurança pública, pois ao tempo em que prometem prevenção, proteção e eficiência, alcançando a identificação e a localização de pessoas em tempo real, também configuram um cenário de restrição de direitos, especialmente no que tange à privacidade e à proteção de dados pessoais sensíveis.

É nessa conjuntura que o EU AI Act ganha destaque, pois a nova legislação europeia veda a utilização de sistemas de IA que “criem ou expandam bancos de dados de reconhecimento facial por meio da extração indiscriminada de imagens faciais da internet ou de imagens de CFTV” [16], as quais poderiam ser utilizadas para identificar e rastrear indivíduos em espaços públicos.

Em atenção ao Considerando nº 17 do EU AI Act, a ferramenta de identificação biométrica remota consiste num “sistema de inteligência artificial destinado à identificação de pessoas naturais sem sua participação ativa, geralmente à distância, por meio da comparação dos dados biométricos de uma pessoa com os dados biométricos contidos em um banco de referência, independentemente da tecnologia, dos processos ou dos tipos de dados biométricos utilizados”.

A norma veda a prática de coleta massiva de dados faciais sem que os alvos consintam ou tenham conhecimento, eis que tal prática poderia gerar um “efeito inibidor sobre a liberdade de expressão e de reunião, pois as pessoas podem hesitar em participar de atividades que possam ser monitoradas e registradas” [17].

Autorização judicial e limites da vigilância tecnológica

Contudo, a normativa europeia prevê exceções para o uso necessário e proporcional dessa nova tecnologia. Essas exceções incluem: (1) a busca seletiva de vítimas específicas de rapto, tráfico de seres humanos ou exploração sexual de seres humanos, bem como a busca por pessoas desaparecidas; (2) prevenção de uma ameaça específica, substancial e iminente à vida ou à segurança física de pessoas singulares ou de uma ameaça real e atual ou real e previsível de um ataque terrorista; (3) a localização ou identificação de uma pessoa suspeita de ter cometido uma infração penal, para efeitos de realização de uma investigação criminal, ou instauração de ação penal ou execução de uma sanção penal por alguma das infrações referidas no anexo II e puníveis no Estado-Membro em causa com pena ou medida de segurança privativa de liberdade de duração máxima não inferior a quatro anos.

Porém, mesmo nesses casos, a legislação exige uma prévia autorização judicial ou de uma autoridade administrativa independente, a qual deverá estar convencida, “com base em provas objetivas ou indícios claros, de que o uso do sistema é necessário e proporcional para atingir um dos objetivos listados no parágrafo 1, alínea (h)”, verificando, ainda, se não existem meios menos invasivos para alcançar os mesmos objetivos. Além disso, essa autorização deve ser estritamente limitada ao necessário em termos de duração, área geográfica e número de pessoas envolvidas, efetivando-se o seu registro no banco de dados da União Europeia, assegurando que todos os usos desses sistemas sejam documentados e auditáveis.

Todavia, em casos de urgência devidamente comprovados, o sistema pode ser utilizado sem prévia autorização, desde que o requerimento seja apresentado “sem demora injustificada, no máximo dentro de 24 horas”. Mas, caso a autorização seja posteriormente negada, o uso deve ser interrompido imediatamente e todos os dados coletados, bem como os resultados e análises gerados pelo sistema, devem ser eliminados sem possibilidade de recuperação ou reutilização.

Vigilância algorítmica e déficit legislativo brasileiro

Os sistemas de IA podem violar direitos fundamentais (liberdade de expressão, privacidade, autodeterminação, não discriminação, etc.) e cometer erros que resultem em prejuízos relevantes para os indivíduos e para a sociedade como um todo. A pretensa neutralidade, infalibilidade e objetividade algorítmica é desmascarada quando compreendemos que seus dados são extraídos da nossa vivência social e, junto com eles, seguem todos os problemas de uma sociedade preconceituosa e racista que automatiza e direciona o raciocínio algorítmico [18].

O uso de tecnologias de vigilância ganha destaque no cenário mundial, especialmente quando tangencia direitos fundamentais como o direito à proteção de dados e a autodeterminação informativa. Porém, a questão ganha dimensão concreta quando pensamos no reconhecimento equivocado de uma pessoa em uma cena de crime [19] e a sua imediata detenção por agentes de segurança.

Tal prejuízo é agravado diante da instantaneidade do reconhecimento (modelo real time ou live facial recognition) e pelo déficit legislativo que implique, no Brasil, na regulação sobre a (i)licitude do tratamento de dados na esfera penal. Nesse sentido, a Exposição de Motivos do Anteprojeto de Lei de Proteção de Dados para a segurança pública e persecução penal no Brasil (“LGPD-Penal”) denuncia os problemas advindos da lacuna legislativa existente no ordenamento brasileiro:

“(…) há um enorme déficit de proteção dos cidadãos, visto que não há regulação geral sobre a licitude, a transparência ou a segurança do tratamento de dados em matéria penal, tampouco direitos estabelecidos ou requisitos para utilização de novas tecnologias que possibilitam um grau de vigilância e monitoramento impensável há alguns anos. Apesar do crescimento vertiginoso de novas técnicas de vigilância e de investigação, a ausência de regulamentação sobre o tema gera uma assimetria de poder muito grande entre os atores envolvidos (Estado e cidadão). Nesse contexto, o titular dos dados é deixado sem garantias mínimas e mecanismos institucionais aplicáveis para resguardar seus direitos de personalidade, suas liberdades individuais e até a observância do devido processo legal”.

Por isso, diante de uma tecnologia multifacetada, complexa, opaca [20], autônoma e em constante mutação e aperfeiçoamento, faz-se necessário construir normas estruturantes que garantam que os sistemas de IA sejam eticamente responsáveis e tecnicamente precisos.

O EU AI Act representa um marco regulatório importante para a governança da inteligência artificial, estabelecendo diretrizes inovadoras para o desenvolvimento e o uso dessas tecnologias na União Europeia. No Brasil, o PL 2.338/2023 caminha inspirando-se no próprio modelo europeu, buscando uma regulação equilibrada que evite abusos e violações aos direitos individuais, mas, ao mesmo tempo, que não restrinja ou iniba a inovação tecnológica.

O conto Os Deuses por Trás das Máscaras ilustra os conflitos que ganham cada vez mais importância entre a vigilância algorítmica e os direitos e garantias fundamentais. A máscara 3D utilizada por Amaka para burlar os sistemas de reconhecimento facial em Lagos bem representa o desejo pelo anonimato e pela privacidade numa sociedade onde a invisibilidade é uma utopia. Assim como o grupo clandestino Igbo Glory buscava desmascarar o poder manipulado por algoritmos, o EU AI Act objetiva estabelecer limites à coleta e uso de dados biométricos, protegendo os indivíduos de uma vigilância massificada passível de vilipendiar e oprimir a privacidade e a autodeterminação.

Na persecução penal, faz-se necessário buscar a harmonização entre o dever do Estado de zelar pela segurança pública e a observância dos direitos e garantias fundamentais. Devemos, todos, acompanhar de perto o trâmite legislativo, permanecendo vigilantes para que, ao final, tenhamos uma regulação ética, eficiente e transparente.

[1] Em realidade, tal lógica futurista não se mostra muito distanciada daquilo que, hoje, se busca efetivar nos sistemas de transporte público pelo mundo. Vejamos, por exemplo, a tentativa de implementação do sistema de reconhecimento facial no metrô de São Paulo.

[2] “Os deepfakes são feitos com uma tecnologia chamada de redes adversárias generativas (GANS). Como o nome sugere, uma GAN é um par de redes neurais de aprendizado profundo ‘adversariais’. A primeira rede, a rede forjadora, tenta gerar algo que pareça real, como a foto sintetizada de um cachorro, com base em milhões de fotos de cachorros. A outra rede, a rede detectora, compara a imagem do cachorro sintetizada da rede forjadora com fotos genuínas de cachorros e determina se o resultado da forjadora é real ou falso”. LEE, Kai-Fu; QIUFAN, Chen. 2041. Como a inteligência artificial vai mudar sua vida nas próximas décadas. Trad. Isadora Sinay. Rio de Janeiro: Globo Livros, 2022, p. 96 (E-book).

[3] “Os deepfakes gerados por GAN pode ser detectados? Devido à sua natureza relativamente rudimentar e aos limites do poder computacional moderno, a maior parte dos deepfakes hoje é detectável por algoritmos e às vezes até pelo olho humano. O Facebook e o Google lançaram competições para o desenvolvimento de programas de detecção de deepfakes. Detectores eficientes de deepfakes podem ser usados hoje, mas há um custo computacional que pode ser um problema se seu site tem milhões de uploads por dia. A longo prazo, o maior problema é que a GAN tem um mecanismo nativo para ‘atualizar’ a rede forjadora. Vamos dizer que você treinasse a rede forjadora da sua GAN e alguém inventasse um novo algoritmo para detectar seu deepfake. Você pode retreinar a rede forjadora da sua GAN com o objetivo de enganar esse algoritmo detector. O resultado é uma corrida armamentista para ver qual lado treina um modelo melhor em um computador mais poderoso”. (LEE, Kai-Fu; QIUFAN, Chen. 2041. Como a inteligência artificial vai mudar sua vida nas próximas décadas. Trad. Isadora Sinay. Rio de Janeiro: Globo Livros, 2022, p. 97 (E-book).

[4] “O detector vip deveria prevenir que esses “supernodes” do cyberespaço se tornassem vítimas de fraude e do dano devastador à ordem social que isso poderia causar. Sites que postavam fotos ou vídeos de indivíduos proeminentes precisavam aplicar esse algoritmo especial de detecção ao conteúdo antes de postarem. O detector vip incorporava tecnologia que incluía reconhecimento facial de ultra-alta resolução, sensores de reconhecimento de linguagem corporal, reconhecimento da geometria de mão e dedos, avaliação de fala e até reconhecimento vascular. Todos esses dados eram fornecidos à ia de aprendizado profundo do detector vip. O detector vip incorporava até o histórico médico ao seu banco de dados se a pessoa protegida fosse importante o suficiente” (LEE, Kai-Fu; QIUFAN, Chen. 2041. Como a inteligência artificial vai mudar sua vida nas próximas décadas. Trad. Isadora Sinay. Rio de Janeiro: Globo Livros, 2022, p. 79 (E-book).

[5] LEE, Kai-Fu; QIUFAN, Chen. 2041. Como a inteligência artificial vai mudar sua vida nas próximas décadas. Trad. Isadora Sinay. Rio de Janeiro: Globo Livros, 2022.

[6] O AI Act foi aprovado em 13/03/2024 e publicado na imprensa oficial em 12/07/2024, sendo considerado a primeira legislação do mundo a regular de forma abrange a inteligência artificial. Antes dele, merecem destaque a Recomendação da OCDE sobre IA (2019) e as Recomendações sobre a Ética da IA, divulgadas pela UNESCO (2021). No Brasil, o PL 2.338/2023 que dispõe sobre o desenvolvimento, o fomento e o uso técnico e responsável da inteligência artificial com base na centralidade da pessoa humana. O texto foi recentemente aprovado pelo Senado, com determinação de remessa à Câmara dos Deputados em 10/12/2024 e segue em grande medida a normativa europeia.

[7] “This inference ability is what truly sets AI systems apart from traditional software. Instead of simply following pre-programmed rules, AI systems can analyze data and draw conclusions, allowing them to make predictions, create content, offer recommendations, or even make decisions”. BUGEJA, Alex. The EU AI Act Explained. Law Decoded: Making Sense of Legal Text for Business, Tech & Beyond: 2024 (Kindle), p. 11.

[8] Ibid., p. 12.

[9] VAINZOF, Rony. Contextualização e objetivos do AI ACT. In. Comentários ao EU AI ACT. Uma abordagem prática e teórica do Artificial Intelligence Act da União Europeia. São Paulo: Revista dos Tribunais, 2024, p. 12.

[10] “Como condição prévia, a IA deverá ser uma tecnologia centrada no ser humano. Deverá servir de instrumento para as pessoas, com o objetivo último de aumentar o bem-estar humano”. (LIMA, Caio César Carvalho; SANTANA, Jean; BAXAULI, Nuria. Abordagem baseada em classificação de riscos dos sistemas de IA. In. Comentários ao EU AI ACT. Uma abordagem prática e teórica do Artificial Intelligence Act da União Europeia. São Paulo: Revista dos Tribunais, 2024, p. 112.

[11] Quando cidadãos ou turistas andam pelas ruas de Delhi, Beijing, Seul ou Londres, seus movimentos provavelmente são registrados. Pois essas cidades — e tantas outras mundo afora — são cobertas por mais de cem câmeras de vigilância para cada quilômetro quadrado, em média. No total, em 2023 mais de 1 bilhão de câmeras de circuito fechado operavam globalmente, o que significa, em média, uma câmera para cada oito pessoas. (HARARI, Yuval Noah. Nexus. Uma breve história das redes de informação, da Idade da Pedra à inteligência artificial. Tradução de Berilo Vargas e Danise Bottmann. São Paulo: Companhia das Letras, 2024, p. 348 (E-book).

Harari, Yuval Noah. Uma breve história das redes de informação, da Idade da Pedra à inteligência artificial Companhia das Letras. Edição do Kindle.

[12] O Programa Muralha Paulista é um exemplo real do alcance do monitoramento: https://www.ssp.sp.gov.br/institucional/muralha-paulista

[13] ZUBOFF, Shoshana. A era do capitalismo de vigilância. A luta por um futuro humano na nova fronteira do poder. Trad. George Schlesinger. Nova York: Perseus Books, 2019, p. 239.

[14] Aliás, na importantíssima obra “A era do capitalismo de vigilância”, Shoshana Zuboff colaciona vários exemplos de ativistas que estão desenvolvendo tecnologias e arte voltadas para a proteção da privacidade. Entre as criações informadas, destacam-se equipamentos de proteção como capas que bloqueiam sinais de celular, próteses com impressões digitais falsas, visores especiais contra reconhecimento facial e vestuário que impede rastreamento. A obra ainda menciona aparatos tecnológicos mais sofisticados, como aplicativos que alteram rotinas previsíveis, roupas com estampas de celebridades para confundir sistemas de reconhecimento facial, e equipamentos que protegem contra a invasão de ondas cerebrais. Um exemplo que pode ter influenciado o conto de Kai-Fu Lee e Chen Qiufan é o do artista Leo Selvaggio, que produz máscaras protéticas impressas em 3D. (ZUBOFF, Shoshana. A era do capitalismo de vigilância. A luta por um futuro humano na nova fronteira do poder. Trad. George Schlesinger. Nova York: Perseus Books, 2019, p. 717).

[15] Harari, Yuval Noah. Op. cit., p.350.

[16] EU AI Act, art. 5º, 1, e. No Brasil, o Anteprojeto da LGPD-Penal trilha o mesmo caminho: “Art. 43. No âmbito de atividades de segurança pública, é vedada a utilização de tecnologias de vigilância diretamente acrescida de técnicas de identificação de pessoas indeterminadas em tempo real e de forma contínua quando não houver a conexão com a atividade de persecução penal individualizada e autorizada por lei e decisão judicial”.

[17] BUGEJA, Alex. The EU AI Act Explained. Law Decoded: Making Sense of Legal Text for Business, Tech & Beyond: 2024 (Kindle), p. 18

[18] “Parte do desafio de compreender a opressão algorítmica é perceber que as formulações matemáticas que guiam as decisões automatizadas são feitas por seres humanos. Embora frequentemente pensemos em termos como “big data” e “algoritmos” como sendo benignos, neutros ou objetivos, eles são tudo menos isso. As pessoas que definem essas decisões detêm todos os tipos de valores, muitos dos quais promovendo abertamente racismo, sexismo e noções falsas de meritocracia, o que está bem documentado em estudos sobre o Vale do Silício e outros corredores de tecnologia”. (NOBLE, Safiya Umoja. Algoritmos da Opressão: como o Google fomenta e lucra com o racismo. Tradução de Felipe Damorim – Santo André – SP: Rua do Sabão, 2021, p. 9). No mesmo sentido: FERREIRA, Marina Lima; BOUSSO, Fernando. Controle social e novas tecnologias: por um debate ético. Revista Brasileira de Ciências Criminais, vol. 193, ano 30, p. 391-430. São Paulo: Ed. RT, nov/dez, 2022, p. 4.

[19] “Nos EUA, a organização da sociedade civil American Civil Liberties Union realizou um teste usando a tecnologia de reconhecimento facial da empresa Amazon em imagens de parlamentares do Congresso americano. Como resultado, 28 congressistas foram erroneamente identificados como criminosos constantes da base de dados, sendo que a taxa de falsos positivos foi desproporcionalmente maior para parlamentares negros e latinos (Ryder, 2022, p. 47). (ROCHA, Heloisa Rodrigues da. Regulação da inteligência artificial generativa e racismo algorítmico no reconhecimento facial (Portuguese Edition) (pp. 57). Editora Dialética. Edição do Kindle.

[20] “Muito se fala sobre algorítmicos e sua previsibilidade, mas pouco se discute o que efetivamente são os algorítmicos, que sentidos podem a eles ser atribuídos, como acessá-los, e como pode ser compreendidos”. (GARCIA, Rafael de Deus; DUARTE, Evandro Piza. Compreendendo algorítmicos aplicados ao sistema de justiça criminal – ilegibilidade, acesso, compreensão, verdade e computabilidade no ‘eu’ identificado por algorítmicos. Revista Brasileira de Ciências Criminais, vol. 183. Ano 29, p. 199-226. São Paulo: RT, setembro 2021, p. 2). A abertura do chamado “cógido-fonte” não garante, por si só, um meio claro e seguro para a compreensão do raciocínio algorítmico. É o que explica Isabela Ferrari: “(…) diante da estrutura cada vez mais complexa dos algoritmos que empregam machine learning, a mera abertura do código-fonte, por si só, tende a não auxiliar a compreensão da forma como operam, já que o referido código só expõe o método de aprendizado de máquinas usado, e não a regra de decisão, que emerge automaticamente a partir dos dados específicos sob análise”. (FERRARI, Isabela. Accountability de Algoritmos: a falácia do acesso ao código e caminhos para uma explicabilidade efetiva. Disponível em: https://itsrio.org/wp-content/uploads/2019/03/Isabela-Ferrari.pdf, com acesso em 02/02/2025.