A supervisão humana das decisões de inteligência artificial reduz os riscos?

Os sistemas de inteligência artificial permeiam nossa vida em todos os campos. No entanto, um âmbito que vem gerando maiores preocupações é o de seu uso na tomada de decisões sensíveis.

Em várias outras oportunidades já descortinei os problemas dos vieses dos modelos algorítmicos [2], ou seja, dos equívocos sistemáticos e repetíveis em um sistema de computador que criam resultados injustos ao privilegiar, por problemas variados, um grupo de usuários em detrimento de outros, por datasets incompletos ou adulterados, existência de padrões ocultos que deturpam a realidade dos fatos promovendo generalizações equivocadas, opacidade (não compreensão de como se chegou aos resultados) e geração de preconceito e discriminação.

Estes problemas ganham maior preocupação em face da ampliação de seu uso no campo jurídico.

Os problemas dos vieses dos modelos algorítmicos de IA já vêm gerando inúmeras pesquisas e iniciativas para o desenviesamento dos modelos [3] e criação de IAs explicáveis (XAI) [4], além de tentativas de se criar normatizações que buscam exigir o cumprimento de princípios éticos, como a própria resolução 332 do CNJ [5].

No atual estado da arte é recorrente a afirmação que estes enviesamentos não seriam tão problemáticos na medida em que, no campo jurídico ainda estaríamos longe de alcançar o estágio de modelos de IA que desempenhassem funções de legal reasoning [6] (verdadeiros juízes robôs) [7] e que não se buscaria com estes sistemas a substituição da função desempenhada por nós humanos na prolação das decisões sensíveis; sendo o emprego dos modelos de IA mera ferramenta de suporte.

Porém, como advertem Green e Kak, é um falso conforto a ideia da supervisão humana como um antídoto por danos perpetrados pela IA. A aposta que vem permeando propostas legislativas, como a recente da Comissão Europeia, é de que "'sistemas de IA de alto risco' (como reconhecimento facial e algoritmos que determinam a elegibilidade para benefícios públicos) devem ser projetados para permitir a supervisão por humanos que serão encarregados de prevenir ou minimizar riscos" [8].

Ocorre que a crença no controle e supervisão humana das decisões algorítmicas, que costumeiramente se propõe, despreza inúmeros fatores.

O primeiro é o de que inúmeros exemplos escandalosos de preconceito perpetrado por máquinas como o do Compas (Perfil Corretivo de Gerenciamento de Ofensores para Sanções Alternativas), software de justiça criminal (oferecido pela Northpointe Inc.) que usa algoritmos, estatísticas e o histórico para realizar uma avaliação de risco de detentos nos Estados Unidos e que já foi demonstrado erros graves em seus resultados que prejudicam pessoas pretas e latinas [9], foram sempre utilizadas como ferramenta auxiliar de juízes humanos e não como software de atuação não supervisionada.

Em segundo lugar, novamente com Green e Kak, as propostas "formas mais 'significativas' de supervisão humana são incrivelmente difíceis de se realizar na prática", pois mesmo que humanos recebam um treinamento significativo de como operar a IA se torna muito complexo "intervir para equilibrar adequadamente as percepções humanas e algorítmicas" [10].

Especialmente aqui se ingressa no terreno dos erros de pensamento humano em relação aos resultados ofertados por modelos de IA, quais sejam, o viés de automação, a aversão algorítmica e/ou prevalência de preconceitos.

Como já se sabe, vieses de cognição são fenômenos da (ir)racionalidade humana, estudados pelos psicólogos cognitivos e comportamentais, e representam os desvios cognitivos decorrentes de equívocos em simplificações (heurísticas) realizadas pela mente humana diante de questões que necessitariam de um raciocínio complexo para serem respondidas. Tais simplificações (heurísticas) são um atalho cognitivo de que se vale a mente para facilitar uma série de atividades do dia a dia, inclusive no tocante à tomada de decisão [11].

Esses erros sistemáticos de pensamento em relação à racionalidade, ao pensamento e aos comportamentos ideais, lógicos e sensatos conduzem a decisões sub-ótimas a todo momento, desde a escolha de uma alimentação mais apetitosa, em detrimento de uma mais saudável, até opções de como julgar uma pessoa. O cérebro ao decidir tende a seguir o caminho que lhe parece mais confortável e que lhe despenda menos energia.

A partir de tal constatação o viés de automação se apresenta como uma das espécies dos vieses cognitivos humanos que ocorre pela propensão de favorecer sugestões de sistemas automatizados de tomada de decisão. Isso ocorre quando o humano sobrevaloriza a resposta da máquina e passa a não refletir acerca da correção de seus resultados. Tal viés conduz as pessoas a não reconhecerem quando os sistemas automatizados erram e a seguirem seus resultados quando apresentadas informações contraditórias [12]. Se isto já ocorre em relação a questões cotidianas, como anuência irrefletida ao trajeto fornecido pelo Waze como o melhor, coloca-se em pauta se juízes e assessores humanos refletiriam a cada resultado ofertado por um modelo de IA para apuração de sua correção.

Como pontua Cummings, modelos de suporte para decisões automatizadas são projetadas para melhorar a eficácia e reduzir o erro humano, mas "podem fazer com que os operadores renunciem a seu senso de responsabilidade" em face da "percepção de que a automação está no comando" [13].

No entanto, do mesmo modo que, por automatismo mental, tenderíamos a seguir os resultados apresentados pelas máquinas, existem pesquisas que indicam uma aversão algorítmica a seus resultados em face da baixa tolerância aos erros das máquinas [14] e que demostram que apesar de evidências indicarem que modelos algorítmicos predizem o futuro com mais precisão do que humanos decisores geralmente escolhem os últimos [15]; ou pela tendência de só seguirem os resultados que corroborem seus preconceitos, contrariando quando ele os rechaça [16]. Tal percepção é inclusive comprovada nas avaliações de risco implantadas no sistema de Justiça Criminal dos EUA, no qual juízes, por preconceito racial, usaram os resultados de previsões de risco mais alto sobre réus negros e mais baixas sobre réus brancos [17].

Em síntese, se demonstra que a atribuição de decisões sensíveis às máquinas deve ser absorvida com bastante cuidado e que a crença na atribuição de controle pela supervisão humana não é suficiente e deve ser objeto de um monitoramento rigoroso na implementação de automação decisória, para que modelos algorítmicos enviesados não possam gerar erros em escala exponencial ou que modelos precisos não sejam utilizados com o intuito de agravar a situação de alguns grupos que já sofrem preconceito.