Softwares que preveem probabilidade de cometimento de crime são confiáveis?

A inteligência artificial (IA) tem progressivamente se tornado parte do nosso cotidiano. Cada vez mais, essa nova tecnologia impregna nossas atividades mais banais, como o simples ato de desbloquear a tela de nossos celulares por meio de reconhecimento facial ou pela leitura biométrica de nossa impressão digital.

Fernando Frazão/Agência Brasil

O fato de a IA já ter se tornado ubíqua em nossas vidas não constitui, por si só, um fator preocupante, até porque esta tecnologia não é inerentemente negativa. Contudo, apesar de poder ser empregada benignamente, é inegável que algumas instituições têm utilizado esta ferramenta inovadora em específicas conjunturas cuja parcela dos resultados, intencional ou inadvertidamente, têm sido perniciosa. No sistema de justiça criminal o uso de ferramentas algorítmicas já se mostra uma realidade [1] e vê-se como inexorável a futura simbiose entre as instituições responsáveis pela aplicação da lei penal e as tecnologias emergentes.

Um exemplo do uso potencialmente nocivo da IA pelas instituições aplicadoras da lei penal são as chamadas "ferramentas de avaliação de risco" (risk assessment tools, do inglês), em que um software algorítmico procura, através do estudo da personalidade, antecedentes criminais e outras informações do suspeito/acusado (nível de escolaridade, situação atual de (des)emprego e de residência, envolvimento pretérito com uso abusivo de drogas, por exemplo), traçar o perfil do sujeito passivo e analisar sua futura probabilidade de reincidência. Grosseiramente falando, estas ferramentas de avaliação de risco funcionam, a nosso ver, como uma forma de futurologia supostamente lastreada na ciência e ao final deste artigo delinearemos muito brevemente quais medidas podem ser adotadas pelas autoridades e pela sociedade em geral como forma de mitigação dos riscos advindos de eventual futura implementação no Brasil.

Embora não haja relatos (ao menos em escala significativa) do emprego dessas ferramentas no sistema de justiça criminal brasileiro, o cenário é distinto nos EUA, em que juízes de diversos estados da federação têm utilizado referido recurso, dentre outras finalidades, ao exararem sentença e como maneira de complementar a análise da quantificação da pena. Dessa forma, um réu, ainda que tenha cometido delito de menor potencial ofensivo, pode ter sua pena aumentada se a sua avaliação de risco — isto é, sua probabilidade de cometimento futuro de novo delito — for considerada elevada, ao passo que o réu que tenha praticado delito de maior gravidade pode ter sua pena minorada se sua avaliação de risco levada a cabo pelo software algorítmico for considerada reduzida.

Considerando-se ser provável que futuramente tais ferramentas venham a ser utilizadas em nossos tribunais, parece útil compreender, ainda que em breves linhas, como funcionam, como são internamente estruturadas e quais resultados têm elas produzido ao serem aplicadas por julgadores. Em razão de o emprego desses instrumentos serem já uma realidade nos EUA, entendemos por bem analisar o atual cenário de sua implementação nesse pais a fim de contribuir para estudos futuros caso seja implementada em nosso país.

Uma dessas ferramentas chama-se "Avaliação da Segurança Pública" (Public Safety Assessment — PSA, do inglês), a qual, para avaliar o risco de reincidência de determinado acusado, considera, dentre outros fatores, sua idade e seus antecedentes criminais, o que produz três pontuações de risco: o risco de ser condenado por qualquer novo crime futuro, o risco de ser condenado por novo crime violento e o risco de não comparecer ao tribunal [2].

Estes instrumentos foram desenvolvidos, portanto, para tentar prever o risco que o sujeito passivo possui de cometimento de nova infração. Nos EUA, estas previsões têm sido utilizadas não só no momento de o julgador proferir sentença, mas também juntamente com a análise das circunstâncias que justificam a decretação/manutenção de prisão provisória, chegando inclusive a integrar decisões relativas à análise do atendimento dos requisitos justificadores da concessão da liberdade provisória e do livramento condicional [3].

Conquanto a utilização desses instrumentos no sistema de justiça criminal norte-americano esteja, aparentemente, gradualmente se expandindo, esta tecnologia tem se tornado cada vez mais controversa. As críticas têm comumente incidido sobre o desrespeito ao princípio da individualização, ausência de transparência em relação à conclusão atingida pelo algoritmo (dada a sua opacidade), ocorrência de enviesamento e questionamento sobre o verdadeiro impacto desses instrumentos [4].

Um caso relevante que ocorreu em um tribunal norte-americano envolveu o julgamento, em 2016, pelo Tribunal de Justiça do estado de Wisconsin, em que o peticionário, Eric Loomis, argumentou contra o uso dessa ferramenta quando de sua sentença. Resumidamente, Loomis defendeu que a sua sentença não observou o princípio da individualização da pena e que o decreto condenatório baseou-se em tendências históricas de grupo quanto à pratica de delitos, segundo a avaliação feita pelo instrumento de avalição de risco. A corte, todavia, entendeu diferentemente, asseverando que a decisão judicial de primeira instância não se lastreou exclusivamente na avaliação de risco perfectibilizada pelo algoritmo, motivo pela qual não foi anulada ou alterada.

A despeito de a corte ter assim concluído, fato é que tanto seres humanos como algoritmos aprendem com base no comportamento histórico. Consequentemente, a previsão de risco de nova delinquência — seja ela proveniente de um julgador ou de um algoritmo — ancora-se, como é de se esperar, no comportamento histórico de indivíduos semelhantes.

A companhia que criou a ferramenta utilizada no julgamento acima mencionado recusou-se a revelar suficientes detalhes sobre como o algoritmo chegou até a pontuação de risco de Loomis, impedindo, assim, que ele pudesse identificar a acurácia de toda a informação apresentada perante a corte durante o seu julgamento [5]. Muito embora esses instrumentos de avaliação de risco possam explicar como chegaram a determinada decisão (o que é considerado por alguns como sendo uma vantagem sobre a tradicional tomada de decisão humana), alguns fabricantes acabam ocultando estes detalhes sob a alegação de que a integral revelação de seu funcionamento poderia prejudicar a expansão monetária de seu produto. Contudo, considerando estarmos tratando de uma decisão judicial tomada no contexto criminal, há suficientes razões para haver total transparência sobre o funcionamento desses instrumentos.

Hoje já se sabe também esses instrumentos de avaliação de risco podem contribuir para a perpetuação e a exacerbação de discriminação no sistema criminal [6]. De acordo com Chohlas-Wood [7]:

"Uma das possíveis fontes de viés mais preocupantes podem vir de resultados históricos que um instrumento de avaliação de risco aprender a prever. Se esses resultados são produto de práticas injustas, é possível que qualquer modelo derivativo aprenda a replica-los, ao invés de prever o verdadeiro risco subjacente de cometimento de novo delito. Por exemplo, embora estime-se que grupos de diferentes raças consumam maconha em taxas praticamente iguais, os negros americanos tem sido historicamente condenados por posse de maconha em taxas mais elevadas. Um modelo que aprende a prever condenações por posse de maconha a partir desses registros históricos iria injustamente inserir os negros americanos em uma categoria de maior risco, a despeito de as verdadeiras taxas subjacentes de uso serem as mesmas entre os distintos grupos raciais. A seleção cuidadosa dos resultados que reflitam verdadeiras taxas subjacentes de crimes pode evitar isto" (tradução livre).

Em Chicago, o departamento de polícia também tem usado o software de IA para prever quem tem mais chance de cometer outros crimes após a sua prisão. No entanto, um relatório elaborado em 2020 pelo Escritório do Investigador Geral de Chicago descobriu que o software não era confiável e que a qualidade dos dados coletados era precária [8].

Existem diversos outros relatos de casos ocorridos nos EUA em que o software fez interpretações equivocadas envolvendo a previsibilidade de risco de cometimento de novos delitos [9], os quais deixam de ser aqui compartilhados dada a exiguidade do espaço.

Terminamos o artigo fazendo menção a algumas medidas cuja adoção reputamos necessária caso esses instrumentos venham a ser empregados no sistema de justiça criminal brasileiro.

Primeiramente, os legisladores devem regular o emprego da discricionariedade por parte das autoridades quando estas recorrerem aos softwares. No contexto das ferramentas de avaliação de risco, fatores incomuns podem afetar a previsibilidade de reincidência de um indivíduo. Dessa forma, o julgador deve possuir autorização para desconsiderar as recomendações da ferramenta algorítmica.

Em segundo lugar, qualquer algoritmo usado em um contexto criminal deve ser transparente. Isto assegura que qualquer parte interessada possa compreender exatamente como a determinação de risco é feita, o que ajuda a estabelecer confiança, reconhecendo o papel que estas ferramentas podem exercer no âmbito das decisões penais.

Em terceiro lugar, os algoritmos, bem como os dados usados para gerar suas previsões, devem ser cuidadosamente examinados de maneira a evitar que qualquer grupo social seja injustamente prejudicado pelos resultados. Juízes, promotores e analistas de dados devem criticamente examinar todo elemento de dado fornecido por um algoritmo — especialmente os resultados previstos — para compreender se esses dados são enviesados contra qualquer comunidade.

Por fim, os algoritmos devem ser avaliados enquanto são implementados. Tendo em vista o potencial deles incrementarem injustiças, as autoridades devem monitorar o comportamento e os resultados de cada novo algoritmo à medida em que ele é introduzido, monitoramento este que deve permanecer até que seus efeitos de longo prazo possam ser compreendidos. As pessoas parecem ser mais receptivas ao emprego das tecnologias quando estas são objeto de regulação, são transparentes e respeitam o consentimento do indivíduo.

Queiramos ou não, as tecnologias emergentes gradualmente tornar-se-ão onipresentes em todos os setores da sociedade. Cabe a nós desenvolvermos modelos e métodos para que a sua implementação seja mais segura, confiável, precisa e que, acima de tudo, ocorra em consonância com o que determina a lei.

Bibliografia:

CHAMMAH, M.; HANSEN, M. Policing the future. The Verge. Disponível em: https://www.theverge.com. Acesso em: 1 set. 2022.

CHOHLAS-WOOD, A. Understanding risk assessment instruments in criminal justice. Disponível em: https://www.brookings.edu/research/understanding-risk-assessment-instruments-in-criminal-justice/. Acesso em: 1 set. 2022.

CHOHLAS-WOOD, A.; LEVINE, E. A recommendation engine to aid in identifying crime patters. INFORMS Journal on Applied Analytics, 49(2), p. 154-166.

DEMICHELE, M.; BAUMGARTNER, P.; WENGER, M.; BARRICK, K.; COMFORT, M.; MISRA, S. (2018). The Public Safety Assessment: A re-validation and assessment of predictive utility and differential prediction by race and gender in Kentucky. SSRN: 3168452.

FERGUSON, A.G. (2016). Predictive prosecution. Wake Forest L. Rev. 51, 705.

FERGUSON, A.G. (2017). The rise of big data policing: Surveillance, race, and the future of law enforcement. NYU Press.

GOEL, S.; SHROFF, R.; SKEEM, J.; SLOBOGIN, C. The accuracy, equity, and jurisprudence of criminal risk assessment. Research bandbook on big data law. Edward Elgar Publishing Ltd.

O’NEIL, J. How facial recognition makes you safer. The New York Times. Disponível em: https://www.nytimes.com. Acesso em: 03 set. 2022.

RASHAWN, Ray. 5 questions policymakers should ask about facial recognition, law enforcement, and algorithmic bias. Disponível em: https://www.brookings.edu/research/5-questions-policymakers-should-ask-about-facial-recognition-law-enforcement-and-algorithmic-bias/. Acesso em: 3 set. 2022.

SERNOFFSKY, E. SF DA Gascón launching tool to remove race when deciding to charge suspects. The San Francisco Chronicle. Disponivel em: https://sfchronicle.com. Acesso em: 28 Ago. 2022.