O avanço vertiginoso das ferramentas de inteligência artificial generativa tem transformado rotinas produtivas em escala global. No entanto, a linha que separa a produtividade acelerada da negligência profissional tornou-se extremamente tênue. Um episódio alarmante nos Estados Unidos reacendeu o debate sobre os limites e perigos do uso descontrolado de modelos de linguagem como o ChatGPT: um advogado foi penalizado financeiramente após submeter à Justiça um documento processual contendo testemunhas e depoimentos policiais inteiramente forjados por um algoritmo.
O caso surreal: testemunhas fantasmas em recurso criminal
O caso ocorreu no Novo México, onde o advogado Stephen Aarons atuava na apelação de um cliente condenado por homicídio. Em busca de reverter a decisão, o profissional recorreu a uma ferramenta de IA para redigir o recurso judicial. Contudo, em vez de fundamentar a petição em fatos apurados nos autos, o sistema gerou alucinações de IA severas, criando personagens e relatos que jamais existiram na vida real.
A petição protocolada perante a Suprema Corte do Novo México continha declarações de testemunhas fictícias e até depoimentos policiais falsos detalhando as supostas roupas e características físicas do atirador. Diante da inconsistência absurda, a corte não apenas desconsiderou os argumentos, como aplicou uma multa de US$ 5.000 ao defensor, além de enquadrá-lo em desacato por negligenciar a checagem básica dos fatos e da jurisprudência anexada.
O fenômeno das alucinações e a cegueira algorítmica
O episódio evidencia um problema estrutural bem conhecido pelos pesquisadores de tecnologia: os grandes modelos de linguagem (LLMs) operam por cálculo probabilístico de palavras e não possuem discernimento fático ou compromisso com a verdade. Quando confrontados com comandos complexos sem diretrizes rígidas, esses sistemas tendem a preencher lacunas inventando citações, fontes e cenários com impressionante verossimilhança sintática.
Durante a audiência sobre o incidente, a juíza da Suprema Corte C. Shannon Bacon questionou com veemência como um operador experiente do Direito pôde ignorar os riscos já amplamente documentados da tecnologia. A desatenção de Aarons remete a episódios anteriores emblemáticos, como o escândalo de Nova York em que advogados citaram decisões judiciais inexistentes criadas pelo ChatGPT, demonstrando que a chamada cegueira algorítmica continua a fazer vítimas no meio corporativo e jurídico.
A responsabilidade humana na era da automação inteligente
Embora a automação e as soluções de produtividade digital tragam ganhos inegáveis para a redação de rascunhos, organização de dados e sumarização de textos longos, a validação humana permanece insubstituível. O julgamento do Novo México estabelece um precedente contundente: a responsabilidade ética, civil e criminal pelos resultados finais é integralmente do usuário, não da plataforma de tecnologia.
Profissionais de setores críticos — como Direito, Medicina, Engenharia e Jornalismo — precisam adotar protocolos rígidos de verificação ao incorporar assistentes virtuais em seus fluxos de trabalho. Delegar a construção de argumentos cruciais para um modelo probabilístico sem auditoria não é inovação, mas sim negligência que pode comprometer a liberdade de indivíduos e a credibilidade das instituições.
Conclusão
O caso das testemunhas inventadas no tribunal reforça que a inteligência artificial deve atuar como copiloto, jamais no comando exclusivo de decisões complexas. À medida que as ferramentas generativas se tornam acessíveis a qualquer pessoa, a capacidade crítica e o compromisso ético dos profissionais tornam-se os verdadeiros diferenciais contra o erro e a desinformação no ambiente digital.
Você acredita que tribunais e órgãos profissionais deveriam banir ou restringir o uso de ferramentas como o ChatGPT em processos judiciais? Deixe sua opinião nos comentários!
