O uso de IA generativa pela administração pública

A difusão da inovação alcançou novo patamar com a inteligência artificial (IA) generativa da espécie large language models (LLMs). As estatísticas impressionam. Poucos meses após o lançamento, o ChatGPT alcançou a média mensal de 1,5 bilhões de visitantes únicos, com um tempo médio despendido de 7min36s por visita [1].

Como em Kasparov v. Deep Blue (1997), renovaram-se as fronteiras de onde o poder computacional supera, sob a perspectiva temporal, quantitativa e qualitativa, a capacidade cognitiva do cérebro humano. Renovaram-se também as esperanças de desenvolvimento humano e civilizatório, as esperanças de abundância, de justiça e de prosperidade.

Com maturidade tecnológica em nível operacional, os LLMs estão difundidos e já revolucionam atividades soberanamente humanas, como a criação, a síntese, a avaliação e a revisão de conteúdos técnicos.

No entanto, como remédio milagroso que cura, mas também arrisca ao dano, os benefícios dos LLMs são, sim, manifestos, superiores; os seus malefícios, contudo, emergem com o risco de uso inadequado, a exigir protocolo e cautela.

No caso da administração pública, que tende a aplicá-los em variados setores sob sua competência (educação, saúde, assistência social, segurança pública, serviços públicos em geral), os riscos embrenham-se na forma como essa disruptividade interage e tensiona os princípios, as regras e as práticas do direito administrativo.

Riscos

Kate Crowford e Jason Schultz [2] relatam um episódio em que sistemas de IA foram utilizados no estado do Arkansas para determinar a quantidade de horas de assistência social concedidas a pessoas aposentadas por invalidez. Como resultado da automação, as horas concedidas foram reduzidas quando comparadas às decisões humanas.

Seria este um caso de correção algorítmica de práticas equivocadas ou de cerceamento robótico e indevido de direitos sociais? A depender da resposta, o uso da IA tornou a administração pública mais – ou menos – eficiente, acurada e justa.

Noutro relato, a administração pública do estado do Texas delegou exclusivamente à IA a avaliação da performance de professores de escolas públicas. Contudo, o judiciário decidiu que a opacidade algorítmica era incapaz de assegurar a transparência necessária para que os professores exercessem direito de defesa contra o resultado avaliativo [3].

Erros técnicos como as alucinações algorítmicas [4] e o possível viés algorítmico, capaz de incorporar preconceitos humanos aos processos administrativos, são desvios técnicos perigosos, embora corrigíveis, da tecnologia. O ponto é que, ainda que hoje exista o viés de cada autoridade humana, este risco é ampliado com a aplicação sistêmica de um mesmo algoritmo. A possível opacidade das bases de dados que alimentam os LLMs, considerados, nesses casos, como black-boxes, intensifica essa preocupação, pois, por questões comerciais, de proteção de propriedade intelectual ou pela complexidade, as premissas dos resultados da IA generativa podem não ser auditáveis ou compreensíveis [5].

Cautelas para o uso estatal

O uso de IA generativa pela administração pública não é questão de se ou quando, mas de como irá acontecer. Na prática, inclusive, a tecnologia já é aplicada. O TCU, por exemplo, lista dezoito soluções que apoiam a sua atuação controladora, inclusive na modalidade de IA generativa, em auxílio, por exemplo, à elaboração de instruções e relatórios [6].

Diferentemente de outras tecnologias incorporadas pela administração pública neste século, como a eletronização dos seus processos, os LLMs interagem com etapas essencialmente humanas, afetando a própria formação da vontade decisória.

Neste contexto, é essencial diferenciar, sob o ponto de vista jurídico, a difusão da inovação para os particulares e para a administração pública.

A regra geral de inexistência de regulação ex ante sobre o desenvolvimento e uso de inovações tecnológicas pelos particulares é sinal de saúde em uma sociedade livre. Para a administração pública, no entanto, é o justo oposto. O histórico de abusos no exercício da coerção estatal, aliado à finalidade garantista do próprio Estado de Direito, exige que o uso dessa tecnologia pela administração pública seja resultado de uma decisão democrática e não ofensiva a garantias fundamentais.

O uso estatal de IA precisa ser regulamentado. Senão em lei, por autoridade administrativa, para que não haja uma incorporação irrefletida ou informal, desacompanhada das salvaguardas necessárias contra eventuais abusos e maus usos. No mínimo, devem ser definidos os procedimentos, as obrigações, os direitos e as responsabilidades dos atores no processo administrativo em que houver aplicação de IA generativa.

Como uma espécie de regulação para o uso estatal da IA generativa, é relevante que haja um protocolo procedimental que assegure as garantias de ampla defesa e contraditório dos particulares, assim como o dever público de motivação explícita, clara e congruente dos atos administrativos, que hoje devem ser praticados por autoridades cuja competência é irrenunciável (artigos 11 e 50, §1º, da Lei Federal nº 9.784/1999).

Sistemas automatizados de decisão

A IA generativa é comprovadamente útil para uso assistencial e carrega imenso potencial para uso deliberativo.

No Brasil, um limitador jurídico contemporâneo à adoção plena de sistemas automatizados de decisão administrativa encontra-se na sobredita irrenunciabilidade de competências administrativas e na inviabilidade de sua delegação para um algoritmo – o que é diferente do que ocorre na Suécia, p.e., em que há expressa autorização legal [7]. Aqui, sempre deve haver uma autoridade pública responsável pela decisão de mérito, sendo discussão distinta se esta pode, ou não, apenas homologar uma minuta robotizada da decisão.

O tema é fronteiriço.

A prática da decisão automatizada já é adotada no mercado (nos setores de seguros e de crédito financeiro, p.e.) e a própria legislação brasileira reconhece o fenômeno. Sem diferenciar a eventual aplicação estatal, a Lei Geral de Proteção de Dados (LGPD) prevê, no artigo 20, §1º, que “O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial”.

O fenômeno também não é ignorado pela comunidade jurídica. Na I Jornada de Direito Administrativo (CJF), aprovou-se o enunciado nº 12, segundo o qual, “a decisão administrativa robótica deve ser suficientemente motivada, sendo a sua opacidade motivo de invalidação”. O enunciado presume, se respeitada a condição, a legalidade do fenômeno. Como parâmetro, a doutrina defende que “o sistema decisório automatizado seja apto a operar com linguagem natural e com a logicidade do sistema de normas positivadas”, pois, assim, poderá dar “forma à exposição satisfatória das razões de fato e de direito que guiaram o processo de tomada de decisão” [8].

Da teoria, surgem questões práticas.

Esses requisitos podem ser comprovados a partir de sistemas de decisões automatizadas baseados em LLMs que se valem de aprendizado de máquina (machine learning)? Na prática, o Estado poderia decidir com base, exclusivamente, em tecnologias como o ChatGPT ou o Gemini?

O professor finlandês Markku Suksi entende que ainda não [9].

Ao refletir sobre o devido processo administrativo, o autor defende que, considerados os atuais desafios tecnológicos em termos de transparência e de capacidade de explicação, deveria haver o banimento do uso de sistemas de decisões automatizadas baseados em aprendizado de máquina.

O receio é de que, ao utilizar esses sistemas, a administração abandone o princípio de rule of law e adote o princípio de rule of algorithm. Por outro lado, defende-se o uso de sistemas de IA baseados em regras, a exemplo de programação predeterminadas que seguem um padrão lógico auditável (Se A e B, então C).

No Conselho da Europa, de modo semelhante, estudiosos afirmam que o uso estatal de sistemas de decisão automatizada acaba por mitigar a possibilidade de o particular afetado participar, contestar ou desafiar o resultado e a fundamentação da decisão, ou mesmo a qualidade e a integridade dos dados utilizados como base para a decisão. Esses sistemas frequentemente não são capazes de fornecer explicações razoáveis dos processos de decisão, em termos inteligíveis para os indivíduos afetados ou até mesmo para os desenvolvedores dos algoritmos, especialmente nos casos que envolvem redes neurais. A situação é agravada pela já relatada opacidade desses sistemas, o que pode interferir no devido processo legal [10].

Ambas as opiniões refratárias às decisões administrativas automatizadas fundamentam-se em percalços técnicos, como a opacidade dos algoritmos e a dificuldade de compreensão das premissas que fundamentam a decisão.

Logo, se o percurso decisório do sistema automatizado de decisão for auditável e compreensível, a conclusão pode ser distinta.

E ouso afirmar que este é um futuro tecnológico e jurídico provável.

Opinião

Como conciliar os códigos de programação com os códigos de direito?

Entendo que a administração pública brasileira pode, desde já, mediante prévia regulamentação aplicada a si própria, ainda que circunscrita ao próprio órgão e independentemente de lei, valer-se de LLMs para apoio ao trabalho intelectual inerente aos processos administrativos. Tal como o uso permitido, referenciado e até natural de informações técnicas disponíveis em obras ou na internet, a diretriz é que os agentes públicos sejam críticos e transparentes ao usarem os LLMs, e que continuem a assumir, individualmente, a integral responsabilidade pelos resultados incorporados em suas opiniões e decisões. Sob o ponto de vista prático, não há como proibir uma consulta a um LLM, assim como não há como proibir uma consulta a um livro ou ao Google. Trata-se de um uso meramente assistencial.

Por outro lado, em relação ao uso deliberativo desta tecnologia, dada a existência de óbice legal para a delegação de competência decisória a um algoritmo e em razão dos desafios técnicos ainda pendentes, a administração pública brasileira deve abster-se, por ora, de impor sistemas automatizados de decisão que sejam baseadas exclusivamente em módulos de IA generativa.

Espero, contudo, que isto aconteça num futuro próximo.

Aliás, protótipos de sistemas geradores de propostas de decisão administrativa já podem e deveriam ser testados pela administração pública, desde que de forma transparente e adequadamente monitorados. Esses sistemas que geram propostas de decisão administrativa poderiam ser testados com tratamento jurídico equivalente ao que ocorreria para os sistemas de decisões automatizadas plenas, em espécie de sandbox regulatório para a prática. A cautela seria a obrigatória supervisão da autoridade competente para realizar a revisão ou a homologação da decisão robótica.

A IA generativa vai além de julgamentos estritamente objetivos, matemáticos, que, inclusive, já acontecem de modo automatizado, como a identificação da proposta de menor preço em uma licitação. A tecnologia é capaz de avaliar e decidir em áreas que exigem juízo crítico, e com maior isonomia, imparcialidade e tecnicidade, em atenção a padrões decisórios e com redução de arbitrariedades.

Por exemplo, a IA generativa deve superar as comuns arbitrariedades humanas na correção e avaliação de provas em concursos públicos e em propostas técnicas de licitações. Seriam até, muito provavelmente, mais acuradas nas polêmicas – e de duvidosa constitucionalidade – avaliações de fenótipo em comissões de heteroidentificação.

Será mesmo uma tecnologia tão útil?

Ora, vamos testar essa hipótese. Que o ceticismo ceda ao teste da ciência, da tecnologia e da inovação.

Particularmente, acredito que decisões técnicas administrativas automatizadas ou semi-automatizadas podem ser mais coerentes, acuradas, transparentes, justas, motivadas e legítimas; creio e espero que o futuro nos reserve esta evolução, em deferência a princípios administrativos festejados na teoria, e tão violentados na prática, como a impessoalidade, a isonomia e a moralidade.

No entanto, para serem impostos à população, a construção e a arquitetura dos sistemas automatizados de decisão administrativa precisam ser auditáveis e supervisionados – falta pouco, mas ainda não é o que ocorre com os LLMs comercialmente disponíveis.

Tendências

Códigos e códigos. Afinal, como conciliá-los?

Pululam, mundo afora, propostas e modelos de regulação geral dos sistemas de IA, a exemplo do recém-aprovado Artificial Intelligence Act, na União Europeia. Na China, desde agosto de 2023, vigoram as inéditas Medidas Provisórias para Gestão de Serviços de Inteligência Artificial Generativa [11].

Este artigo, no entanto, dedica-se ao uso da IA generativa pela administração pública e, por isso, não tem o propósito de tratar de sua regulação ao público em geral.

Neste contexto mais estrito, há um precedente jurisprudencial estrangeiro relevante.

Na França, o Conselho Constitucional, na Decisão nº 2018-765 DC [12], decidiu pela constitucionalidade de dispositivos da Lei de 6 de Janeiro de 1978, a partir de sua regulação ocorrida em 2016, que trata do uso de algoritmos para decisões administrativas individuais.

Para a corte francesa, o uso exclusivo de um algoritmo para decisões administrativas individuais está sujeito ao cumprimento de cinco condições: (1) a obrigação de mencionar explicitamente o uso de um algoritmo na decisão administrativa e, se houver solicitação da pessoa afetada, o fornecimento de informações sobre as características de sua implementação – sendo que, se não houver a possibilidade de fornecimento dessas informações, a decisão não poderá ser tomada com base exclusiva neste algoritmo; (2) a possibilidade de recurso administrativo, sendo que a autoridade superior não poderá se basear exclusivamente no algoritmo; (3) a possibilidade de revisão jurisdicional da decisão em caso de disputa; (4) a impossibilidade de uso exclusivo do algoritmo para decidir questões envolvendo dados sensíveis (origem racial ou étnica, opiniões políticas, crenças religiosas ou filosóficas ou filiação sindical de uma pessoa natural, dados genéticos, dados biométricos, dados de saúde, ou dados relacionados à vida sexual ou orientação sexual de uma pessoa natural); e (5) o responsável pelo processamento dos dados deve garantir que o algoritmo seja passível de explicação detalhada e em formato inteligível à pessoa afetada.

O uso de códigos algorítimicos para a aplicação pública de códigos jurídicos reclama uma agenda de pesquisa, que está atrasada. No âmbito do direito administrativo e das decisões automatizadas por IA, este precedente jurisprudencial francês parece um bom ponto de partida, equilibrado para o estado da arte jurídica e tecnológica. Déjà vu!

[1] Estatísticas entre julho e setembro de 2023, disponíveis em https://www.similarweb.com/website/chat.openai.com/#traffic. Acesso em 11 out 2023.

[2] CRAWFORD, Kate; SCHULTZ, Jason. AI systems as State actors. Columbia Law Review, v. 119, Columbia, 2019.

[3] Idem.

[4] ALKAISSI H et. al. Artificial Hallucinations in ChatGPT: Implications in Scientific Writing. Cureus. 2023 Feb 19;15(2):e35179.

[5] DELL’ACQUA, Fabrizio et al. Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Working Paper, No. 24-013, September 2023, p. 4.

[6] Disponível em: https://portal.tcu.gov.br/imprensa/noticias/uso-de-inteligencia-artificial-aprimora-processos-internos-no-tcu.htm

[7] Cf. Seção 28 da lei sueca sobre procedimento administrativo. Disponível em: https://www.government.se/contentassets/3c56d854a4034fae9160e12738429fb8/the-administrative-procedure-act-2017900/

[8] SCHIEFLER, Eduardo André Carvalho; PEIXOTO, Fabiano Hartmann; DEZAN, Matheus Lopes. A decisão administrativa robótica e o dever de motivação. São Paulo: Portal Jota, 2020. Disponível em: https://www.jota.info/coberturas-especiais/inova-e-acao/a-decisao-administrativa-robotica-e-o-dever-de-motivacao-01092020 Acesso em 13 out. 2023.

[9] SUKSI, Markku. Administrative due process when using automated decision‑making in public administration: some notes from a Finnish perspective. Artificial Intelligence and Law (2021), p. 89-90, 103

[10] YEUNG, Karen. A study of the implications of advanced digital technologies (including AI systems) for the concept of responsibility within a human rights framework. Prepared by the Expert Committee on human rights dimensions of automated data processing and different forms of artificial intelligence (MSI-AUT). Council of Europe study DGI(2019)05.

[11]  Medidas Provisórias para Gestão de Serviços de Inteligência Artificial Generativa, de 10 de julho de 2023, pelo  Escritório da Administração do Ciberespaço da China. Disponível em: https://www.gov.cn/gongbao/2023/issue_10666/202308/content_6900864.html acesso em 8 fev. 2024.

[12] Disponível em: https://www.conseil-constitutionnel.fr/en/decision/2018/2018765DC.htm Acesso em 9 fev. 2024.