Estudantes de Direito dos EUA batem ChatGPT em simulação de exame final

Estudantes da Faculdade de Direito da Universidade de Minnesota se saíram melhor que o ChatGPT em quatro provas escolares, aplicadas por professores de Direito. O ChatGPT teve um desempenho próximo do "medíocre", mas suficiente para passar em um exame final — embora tivesse, provavelmente, que frequentar aulas de recuperação, de acordo com o relatório da equipe de quatro professores que realizou o teste.

O ChatGPT obteve sua melhor nota, um B, na prova sobre legislação constitucional, que abordou federalismo e separação de poderes. Ficou em 36º lugar em um grupo de 40 estudantes (grupo que incluiu o ChatGPT).

Na prova de direito trabalhista, focada em benefícios a empregados, tirou um "B-minus". Se posicionou em 18º lugar, em um grupo de 19 estudantes.

Na prova de legislação tributária, sua nota foi um "C-minus", colocando-se em 66º lugar, em um grupo de 67 estudantes.

Na prova sobre atos ilícitos civis extracontratuais (torts), sua nota também foi um "C-minus", ficando em 75º lugar em um grupo de 75 estudantes.

O ChatGPT foi particularmente mal na parte de múltiplas escolhas das provas. Nessa parte, ele "bombou", disse ao site Insider e à agência Reuters o professor Jonathan Choi, que coordenou a aplicação do teste.

Seu pior desempenho foi em questões que envolviam cálculos matemáticos, na prova sobre tributação: foi comparável a de um estudante que resolve "chutar" todas as respostas de uma prova e tem 25% de probabilidade de acertos.

No entanto, se saiu melhor na parte das provas que incluiu questões sobre redação jurídica. Em alguns casos, sua redação foi comparável ou melhor que a de estudantes humanos, dentro do prazo limitado do exame, disse Choi.

"Sua redação jurídica foi tipicamente clara e bem elaborada, mostrando um bom entendimento das regras jurídicas básicas", ele disse. "Mas quando as respostas foram incorretas, foram dramaticamente incorretas, resultando nas piores notas da classe."

Segundo o professor, o ChatGPT teve dificuldades para identificar questões relevantes e aplicou apenas superficialmente regras a fatos, o que os estudantes fizeram melhor. Descreveu corretamente casos, mas deixou de fornecer análises mais profundas em questões essenciais.

Em defesa do ChatGPT
Para o professor Jonathan Choi, o ChatGPT merece um "desconto", porque ainda está em fase de aprendizagem. Afinal, o sistema é habilitado por inteligência artificial, adquirida através da tecnologia de aprendizagem de máquina. Deve melhorar com o tempo.

Além disso, a máquina enfrentou uma competição difícil: os estudantes da Faculdade de Direito da Universidade de Minnesota estão entre os melhores do país: 97% deles passam na primeira vez que fazem o exame de ordem. O desempenho deles em exames de ordem é o terceiro melhor do país, ficando atrás apenas dos estudantes de Harvard e Yale.  E a maioria deles tem uma carreira jurídica bem-sucedida.

Choi acredita que, apesar de uma certa deficiência de conhecimentos, o ChatGPT pode ser um ótimo colaborador, tanto para estudantes de Direito como para os advogados e outros profissionais da área. Os advogados poderão usá-lo, por exemplo, para produzir a versão preliminar de uma petição, que poderão, em seguida editar — ou comparar com a que elaboraram.

Alguns professores de Direito discordam do uso do ChatGPT pelos estudantes, porque eles podem, por exemplo, botar a máquina para fazer seus trabalhos de casa. Mas dois dos três professores que corrigiram as provas nessa competição com os estudantes, disseram que é relativamente fácil distinguir entre o que o ChatGPT escreveu e o que os escreveram. A redação do ChatGPT é repetitiva e sem qualquer falha gramatical.

Para o professor, melhor que banir a inteligência artificial dos cursos universitários, como alguns distritos escolares já estão fazendo, é fazer algumas adaptações nas faculdades para acrescentá-la ao método de ensino dos alunos.

Isso aconteceu, ele diz, quando surgiram as calculadoras. Inicialmente, algumas escolas se opuseram a seu uso em sala de aula, porque elas poderiam limitar o aprendizado dos estudantes. Mas, no final das contas, passaram a ensinar os estudantes como usar as calculadoras, principalmente as mais sofisticadas.

O professor Josh Blackman, da Faculdade de Direito de Houston, Texas, levanta outro problema: "O texto original produzido pelo ChatGPT não pode ser identificado pelos atuais softwares de detecção de plágio. E os professores devem se conscientizar de que haverá plágios", ele escreveu em um blog.