Chat GPT: fim da linha para os advogados? (parte 2)

Clique aqui para ler a parte 1

3. "Como anda o meu processo, 'doutor' robô?"
Em meados de 2019, a revista Wired reportou o desenvolvimento de um juiz-robô pelo Ministério da Justiça da Estônia, supostamente destinado a dirimir causas de baixo valor (até € 7,000). Em sua fase piloto, o programa solucionaria disputas contratuais, após o envio de documentos e alegações pelas partes [1]. Tratava-se apenas de boato, eventualmente desmentido pela entidade europeia, que frisou a inexistência de projetos ou anseios da espécie no país [2].

O controverso uso do dispositivo para fins de gravação e comunicação chama atenção, em face da declaração do fundador da empresa, Joshua Browder, de que a sua configuração "está tecnicamente dentro das regras", mas, talvez, não "esteja dentro do espírito das regras" — proferida à luz do enquadramento dos earbuds como aparelhos auditivos pela jurisdição onde se dará o teste. Promessas adicionais de que a inteligência artificial se aterá estritamente aos fatos e silenciará nos momentos oportunos acompanham a garantia de restituição de valores em caso de derrota [4].

André Fernandes ressalta que, apesar de abranger um caso de baixa complexidade e receptivo à automatização, o episódio noticiado mais se aproxima do sensacionalismo, do que de uma revolução. O pesquisador traz luz à crescente degradação da figura do advogado, visto como peça sobressalente em meio ao afã por novas tecnologias, no qual restam menosprezadas importantes valências ligadas à profissão, como o acolhimento a clientes e a leitura dinâmica dos cenários práticos além das linhas legais e procedimentais — inimitáveis pela máquina [5].

Michael J Bommarito II e Daniel Martin Katz [6] apontam a complexidade da linguagem jurídica como obstáculo à materialização de promessas desse tipo. Dotado de uma gramática peculiar, aplicada a estruturas de sentença extensas, e com múltiplas tonalidades semânticas, provenientes do direito consuetudinário, o "juridiquês" representa um desafio ao campo do PLN, explorado por plataformas como o ChatGPT.

A dupla recorreu ao modelo de finalização de textos TEXTDAVINCI-003, inserido ao guarda-chuva da família GPT, para conferir como a versão 3.5 performaria a avaliação de tarefas legais, por meio de comandos de zero disparos (zero-shot) — que ilustram a "habilidade de completar uma tarefa sem terem recebido quaisquer exemplos de treinamento" [7].

Em termos simples: buscou-se entender como o chatbot lidaria com questões do mundo jurídico, dotadas de maior complexidade e (provavelmente) estranhas aos seus dados de treinamento. Para tanto, submeteram-lhe amostras de perguntas simulatórias da prova de múltiplas escolhas do Multi State Bar Examination (MBE), promovido pela American Bar Association (ABA) — com as devidas particularidades, correspondente à primeira fase do Exame de Ordem administrado pela Ordem dos Advogados do Brasil (OAB).

As indagações foram retiradas de um material de preparação ofertado pela National Conference for Bar Examers (NCBE), entidade tradicionalmente responsável pela preparação do teste, não sendo encontradas em bases de dados públicas. Equivalente à metade da nota final ­– complementada pelas etapas de redação e de performance baseada em cenários práticos ­— e composto por 200 questões segmentadas em oito áreas (Responsabilidade Civil, Contratos, Provas, Direito Real, Processo Civil, Direito Constitucional, Direito Penal e Processual Penal e Questões Experimentais), o MBE apresenta uma média geral de acerto de 68%.

Durante o experimento, o ChatGPT obteve uma taxa de acerto de 50%, com ótimos resultados nas disciplinas de Provas (63%), Responsabilidade Civil (62%) e Processo Civil (52%), cujas diferenças em relação ao desempenho humano não excederam dígitos singulares – na primeira, inclusive, houve paridade (apenas 2 p.p. abaixo) [8]. Todavia, a constatação mais impactante do estudo denota que, em um período inferior a 36 meses, saiu-se do índice de acerto de 0%, em testes executados no modelo GPT-2, para o impressionante valor de 50%, obtido no GPT-3.5.

Diante disso, os pesquisadores sugerem que, em uma ou duas gerações dos grandes modelos de linguagem, possivelmente nos próximos 18 meses, a máquina igualará ou excederá os feitos do homem, conseguindo a aprovação na etapa em questão do exame da ABA. A perspectiva de que o ChatGPT se encontra nessa iminência pode alimentar o alarmismo quanto ao declínio da advocacia tradicional, com a IA largando o posto de assistente e se tornando a substituta do profissional humano. Instada a se manifestar, a ferramenta traz uma interessante reflexão sobre o assunto.

Autor: Há rumores de que você substituirá os advogados no futuro. Você acha que isso é possível?

ChatGPT: É possível que a IA possa ser usada para automatizar certas tarefas que atualmente exigem trabalho humano, como pesquisa jurídica ou revisão de contratos. No entanto, é importante observar que os sistemas de IA são simplesmente ferramentas projetadas para executar tarefas específicas e não têm a capacidade de pensar, sentir ou experimentar as coisas da mesma maneira que os humanos. Sempre haverá certas tarefas e responsabilidades que só podem ser realizadas por humanos, e é improvável que a IA seja capaz de substituir totalmente as habilidades e capacidades únicas da mente humana. Também é importante considerar as implicações éticas do uso da IA para automatizar determinadas tarefas. Embora a IA tenha o potencial de aumentar a eficiência e a precisão em determinados setores, é importante garantir que ela seja usada com responsabilidade e de maneira justa e benéfica para todas as partes envolvidas.

A fala espelha o atual estágio embrionário de sistemas de inteligência artificial providos de aptidões gerais (IA forte) e repercute as leituras da doutrina especializada, mas silencia a respeito de um elemento central ao debate, levantado por Juliano Maranhão durante exposição no programa "SAE Talks — Ideias que aprimoram o Supremo", acerca da viabilidade de um juiz-robô. O autor parte das gerações de inteligência artificial para examinar os obstáculos a iniciativas do tipo, que também repercutem sobre a criação de advogados algorítmicos [9].

Como bem aponta, a sua primeira era tangencia os Sistemas Especialistas (Expert Systems), munidos de estrutura pré-definida, assentada na representação de conhecimento em dado domínio (e.g. Direito); que são capazes de realizar inferências e explicar os aspectos que as motivaram. Em contraponto, os Sistemas de Dados (Data Systems) compõem a segunda geração, apresentando estrutura adaptável, alicerçada na alimentação de dados. Presentes nas populares soluções de aprendizado de máquina (machine learning), constituem modelos de classificação aptos a encontrar padrões em vastos conjuntos de informações.

Maranhão frisa que, embora auxiliem as atuações de advogados e juízes, os Sistemas de Dados Puros (e.g. Ross, vinculado ao IBM Watson; e Legal Metrics, da legaltech juristec+) apenas conseguem classificar um conteúdo, estabelecendo predições baseadas em correlações empíricas entre objetos, mas sem genuinamente compreendê-lo. Por sua vez, os juristas se valem de predições normativas, moldadas ao peso das razões e argumentações — e avaliáveis, à luz das disposições legais, por Sistemas Especialistas. A contemporânea aposta de integração entre as modalidades permitiria a rápida extração (via Data Systems) e a devida compreensão (via Expert Systems) das informações e argumentos de um texto, vitais tanto à atuação de juízes, como de advogados.

Duas breves perguntas posicionam o ChatGPT em meio ao cenário narrado.

Autor: Você é um Expert System ou um Data System?

ChatGPT: Sou um Data System. Sou treinado a partir de um amplo conjunto de dados de texto, que me permite entender e responder a uma grande variedade de entradas (inputs). Contudo, meu conhecimento é baseado em padrões visualizados nesses dados e não inclui a habilidade de fazer inferências ou raciocinar sobre novas situações como um Expert System faz. Um Expert System é um programa de computador que usa conhecimento, motores de inferência e modelos de mundo para simular a habilidade de um especialista humano de resolver problemas em um domínio específico.

Autor: Você pode realizar inferências?

ChatGPT: Enquanto um modelo de linguagem, posso fazer inferências baseadas nos padrões e relações presentes, a partir dos quais fui treinado. Contudo, minhas inferências podem nem sempre ser precisas ou apropriadas. Posso inferir a partir dos dados e textos fornecidos, mas é importante perceber que minha compreensão é baseada em padrões dos dados através dos quais fui treinado, então existe um limite para o contexto das inferências que posso fazer (grifos nossos).

A configuração do chatbot como um verdadeiro advogado-robô, habilitado para entender e avaliar as alegações das partes, aos moldes do que propagandeia a startup DoNotPay, esbarra nas limitações acima. Por mais que esteja próxima da aprovação em avaliações de licenciamento profissional, a ferramenta ainda não se mostra capaz de raciocinar e sopesar argumentações como o patrono humano — fato que não elimina a necessidade de se acompanhar os desdobramentos da audiência em questão e das testagens em torno do MBE através de sua versão futura.

Idealizador da arquitetura de rede neural empregada pela Open AI e atual rival declarado da empresa, o Google vem desenvolvendo o seu próprio aparato de geração de texto, o Confident Adaptive Language Modeling (CALM), redistribuidor do esforço para a predição dos termos de uma sentença [10].

Os constantes saltos na área do Processamento de Linguagem Natural sinalizam a proliferação de sistemas com objetivos similares ao ChatGPT, que certamente impactarão o domínio jurídico, mas estão longe de representar o fim da linha para o advogado. Conforme explicam Fabiano Hartamnn e Roberta Zumblick, "são inteligências incomparáveis e a competição tratou apenas de uma parcela das competências e habilidades" [11] desse profissional — a quem cabe, com prudência, absorver os proveitos potencializados pelas novas tecnologias.

Que venham os próximos capítulos, a serem escritos, literal e figurativamente, pelo ChatGPT.

Referências
BOMMARITO II, Michael J; KATZ, Daniel Martin. GPT Takes the Bar Exam. Disponível em: https://ssrn.com/abstract=4314839. Acesso em: 3 jan. 2022.

DALL-E 2: sistema revoluciona a geração de imagens e conteúdo visual. Porto Alegre, 24 ago. 2022. PUC-RS. Disponível em: https://www.pucrs.br/blog/dall-e-2/. Acesso em: 3 jan. 2022.

ELSEN-ROONEY, Michael. NYC education department blocks ChatGPT on school devices, networks. Nova York, 3 jan. 2023. Chalkbeat NY. Disponível em: https://ny.chalkbeat.org/2023/1/3/23537987/nyc-schools-ban-chatgpt-writing-artificial-intelligence. Acesso em: 3 jan. 2022.

FERNANDES, André. Advogado-robô vai acabar com os advogados como nós conhecemos? [S.l], 11 jan. 2021. Instagram. Disponível em: https://www.instagram.com/reel/CnQKMA7PBKk/?igshid=OGQ2MjdiOTE=. Acesso em: 11 jan. 2021.

GRANT, Nico; METZ, Cade. A New Chat Bot is a “Code Red” for Google’s Search Business. Nova Iorque, 21 dez. 2022. The New York Times. Disponível em: https://www.nytimes.com/2022/12/21/te chnology/ai-chatgpt-google-search.html. Acesso em: 3 jan. 2022.

HARTMANN PEIXOTO, Fabiano; DA SILVA, Roberta Zumblick Martins. Inteligência artificial e direito. 1ª ed. Curitiba: Alteridade Editora, 2019. p. 111-112.

HERMAN, Daniel. The End of High-School English. [S.l], 9 dez. 2022. The Atlantic. Disponível em: https://www.theatlantic.com/technology/archive/2022/12/openai-chatgpt-writing-high-school-english-essay/672412/. Acesso em: 3 jan. 2022.

LOPES, André. Criada sem visar lucro, OpenAI, que pode valer US$ 29 bi, mira se tornar a maior startup do mundo. [S.l], 7 jan. 2023. Exame. Disponível em: https://exame.com/invest/mercados/criada-sem-visar-lucro-openai-que-pode-valer-us-29-bi-mira-se-tornar-a-maior-startup-do-mundo/. Acesso em: 8 jan. 2023.

NEW Chat. ChatGPT. Open AI. Disponível em: https://chat.openai.com/chat. Acesso em: 9 jan. 2023.

NIILER, Eric. Can AI Be a Fair Judge in Court? Estonia Thinks so. [S.l], 25 mar. 2019. Wired. Disponível em: https://www.wired.com/story/can-ai-be-fair-judge-court-estonia-thinks-so/. Acesso em: 3 jan. 2023.

OPEN AI Charter. [S.l.], 9 abr. 2018. Open AI. Disponível em: https://openai.com/charter/. Acesso em: 3 jan. 2022.

SCHUSTER, Tal. Accelerating Text Generation with Confident Adaptive Language Modeling (CALM). [S.l], 16 dez. 2022. Google Research. Disponível em: https://ai.googleblog.com/2022/12/accelerating-text-generation-with.html. Acesso em: 3 jan. 2022.

SPARKES, Matthew. AI legal assistant will help defendant fight a speeding case in court. [S.l], 4 jan. 2023. NewScientist. Disponível em: https://www.newscientist.com/article/2351893-ai-legal-assistant-will-help-defendant-fight-a-speeding-case-in-court/. Acesso em: 7 jan. 2023.

STF. SAE Talks – Inteligência artificial no Poder Judiciário – 1/7/22. Youtube, 5 jul. 2022. Disponível em: https://www.youtube.com/watch?v=azwAKTFAwjQ. Acesso em: 2 jan. 2022.

USZKOREIT, Jakob. Transformer: A Novel Neural Network Architecture for Language Understanding. [S.l], 31 ago. 2017. Google Research. Disponível em: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html. Acesso em: 6 de jan. 2023.

WHAT is Zero-shot learning. Glossary. Deepchecks. Disponível em: https://deepchecks.com/glossary/zero-shot-learning/. Acesso em: 4 jan. 2022.