Rodar o mesmo prompt cinco vezes nos mesmos documentos antes de padronizar a ferramenta de IA no escritório
Escritório que monta prompts padrão viu a IA da sua gestão de documentos falhar em 4 de 5 rodadas iguais, enquanto outras ferramentas repetiam a resposta. O teste mostrou onde estava o problema.
ResultadoEm 4 de 5 rodadas iguais, uma ou mais subtarefas falharam ou voltaram inúteis; as outras ferramentas testadas repetiram o resultado sempre que o prompt funcionava, como relatado pela fonte
Prompt
Este é um teste de consistência. Não mude nada entre as rodadas.
Documentos: [LISTA DOS ARQUIVOS DO TESTE, de caso encerrado ou fictícios]
Tarefa padrão do escritório: [COLE O PROMPT QUE VOCÊ QUER PADRONIZAR, por exemplo: monte a cronologia dos fatos com data, documento e página; depois, uma tabela com partes, valores e prazos citados]
Regras de saída:
- Responda sempre no mesmo formato: 1) cronologia, 2) tabela, 3) lista do que não foi encontrado nos documentos.
- Cada linha deve citar o documento e a página de onde saiu.
- Se não conseguir concluir uma parte, escreva "NÃO CONCLUÍDO: [motivo]" em vez de pular ou resumir.Como fazer
- Escolha um pacote de documentos que não seja de cliente ativo (caso encerrado e anonimizado, ou fictício) e um prompt que o escritório quer transformar em padrão.
- Rode exatamente o mesmo prompt, nos mesmos documentos, cinco vezes, em conversas novas, em cada ferramenta que está avaliando.
- Anote numa planilha, para cada rodada: concluiu ou não, quantas subtarefas falharam, se a resposta mudou e se as páginas citadas batem com o documento.
- Só depois mexa no prompt. O autor conta que, antes do teste, não dava para saber se o problema era o prompt ou a ferramenta; com as cinco rodadas, a diferença entre as ferramentas ficou clara.
- Leve a planilha para a decisão de renovar o contrato. No relato, os usuários já reclamavam nas primeiras semanas, e o escritório tem um ano de contrato para decidir.
Atenção
- Adaptado de um fórum dos Estados Unidos. O autor é anônimo e se descreve como da área de TI do escritório, não advogado; ferramentas e contratos são de lá. A fabricante respondeu no fio pedindo mais detalhes, e outros comentários oferecem produtos concorrentes. - O autor conta que alguns usuários não aceitam baixar documentos da gestão de documentos para subir em outra IA. Antes de qualquer teste, confira o contrato e a política de dados de cada ferramenta: documentos do cliente estão sob sigilo profissional (Código de Ética da OAB) e LGPD. - Consistência não é acerto: mesmo a ferramenta que repete a resposta pode citar errado. Um advogado confere cada citação e cada data antes de usar o resultado.
Fonte: Reddit, r/legaltech (post e respostas de u/Calm_House8714), 4 de novembro de 2026
Mais casos de trabalho e operações
Trabalho e operações
Agente confere os processos do CADE duas vezes por dia útil e manda à equipe o e-mail com o que andou
Profissional de Legal Ops publica a versão sanitizada de um agente com Claude que lê a planilha de processos, compara com o último andamento e envia o resumo às 10h e às 16h.
Trabalho e operações
Preparar a nota da consulta de retorno a partir da nota anterior e dos exames que chegaram desde a última visita
Médico de família conta que usa um escriba de IA para transcrever e o Claude para preparar a nota no estilo dele, com a nota anterior como molde e os resultados novos integrados.
Trabalho e operações
15 skills do Claude para o escritório contábil: da conciliação à cobrança de documentos, com checklist de LGPD
Consultoria abre de graça 15 skills para o Claude fazer conciliação, fechamento, Simples, folha, rescisão e cobrança de documentos sempre do mesmo jeito, com itens a conferir.