Quem escreve não revisa. O que eu aprendi pondo um segundo agente para ler o trabalho do primeiro
Pedir para o agente conferir o próprio trabalho quase nunca acha o erro. O que mudou quando eu separei quem faz de quem revisa, com os casos reais desta semana.
Nesta página · 8 seções
Você pede para o agente conferir o que ele mesmo fez, ele responde que está tudo certo, e não está. Este texto é sobre o que eu mudei para parar de cair nisso: quem escreve não revisa, nem quando quem escreve é uma máquina.
Ele mesmo foi escrito por um agente e lido por outro, que não viu nada do raciocínio do primeiro, antes de ir ao ar. Nesta semana essa regra passou a valer para boa parte do que os meus agentes entregam.
O problema não é falta de cuidado
Quando um agente revisa o próprio trabalho, ele relê com a mesma cabeça que escreveu. Ele sabe o que quis dizer, então lê o que quis dizer. Sabe por que tomou cada decisão, então cada decisão parece certa.
Isso não é impressão minha. Um artigo de pesquisadores do Google DeepMind, apresentado no ICLR 2024, testou exatamente isso: modelos de linguagem tentando corrigir o próprio raciocínio sem nenhuma informação de fora. A conclusão é que eles têm dificuldade em se corrigir sozinhos, e às vezes o resultado piora depois da "correção".
A palavra que importa ali é "sem informação de fora". O conserto não é pedir mais cuidado. É trazer um olhar que não estava lá quando o erro nasceu.
Como eu montei
A Anthropic descreve um padrão parecido num guia sobre agentes, que eles chamam de avaliador e otimizador: uma chamada gera, outra avalia e devolve o que achou. O que eu acrescentei veio de errar. São três regras.
O revisor não recebe o raciocínio de quem fez. Recebe o resultado, o pedido original e as regras do projeto. Nada da conversa. No código, cada revisor lê só a diferença do que mudou, o pedido e o arquivo de regras daquele repositório, um revisor por repositório. No blog, ele recebe o post, as fontes e o guia de voz, e lê como alguém que chega pela busca sem saber de nada.
O revisor devolve uma de três respostas. Aprovado. Consertado, dizendo o que mudou. Ou barrado, com o motivo. Barrado, o texto é reescrito uma vez e vai para um revisor novo. Barrado duas vezes, não sai nada naquela semana. Prefiro uma semana sem post a um post que dois leitores frios recusaram.
Quem fez pode discordar, por escrito. O revisor não é chefe. Quando o agente que escreveu o código acha que o revisor está errado, ele não ignora nem obedece calado: escreve "onde discordo ou deixei como está" e diz por quê. Eu leio essa parte primeiro.
O que o revisor achou nesta semana
Teoria eu tinha. O que me convenceu foram três casos destes dias.
Um conserto que deixaria o vigia cego. Uma rotina diária terminou em erro, e o agente consertou fazendo cada passo rodar por conta própria, cada um com o seu tratamento de erro. Parecia certo. O revisor barrou o envio: do jeito que estava, a rotina sempre terminaria "ok", e o sistema que vigia essas rotinas nunca mais veria a próxima quebra. Ele tinha razão. Agora todos os passos rodam e, se algum falhou, a rotina termina em erro.
Quem escreveu o conserto não tinha como ver isso. Ele estava resolvendo "a rotina quebrou". O revisor estava lendo "o que acontece na próxima vez que ela quebrar".
Um comentário que mentia. Num outro envio, um comentário no código dizia que o auditor lia uma certa linha do registro e o código de saída de cada execução. Ele não lia. O revisor apontou, e a correção foi ensinar o auditor a ler aquela linha, além de consertar o comentário. Comentário falso é pior que nenhum: o próximo agente que abrir o arquivo vai acreditar nele.
Uma mensagem que afirmava mais do que o número dizia. Tenho um agente que conversa por WhatsApp com donos de pequenos negócios, e toda mensagem dele passa por um segundo agente antes de sair. Nesta semana mudei o que esse revisor recebe. A primeira mensagem só pode afirmar o período que o número de fato conta: se há cliques nos últimos 7 dias, ela diz 7 dias; se não há, usa a conta de duas semanas e diz "nas últimas duas semanas". E o revisor recebe o período real junto com o texto.
Esse foi o aprendizado que eu não esperava. Um revisor que só lê o texto confere a gramática e o tom. Para conferir uma afirmação, ele precisa do fato contra o qual conferir.
Quem vigia o vigia
A mesma lógica subiu um nível. Esta semana entrou um auditor que roda de duas em duas horas e confere cada agente: se rodou, se fez o que diz que fez, e se só mandou mensagem que tinha valor para quem recebeu. Ele não faz o trabalho de ninguém. Lê o que os outros deixaram e anota o que precisa de conserto.
E o próprio vigia precisou de conserto. O sistema que confere se as rotinas rodaram dava alarme falso quando o registro respondia vazio por um instante. Antes do conserto, duas de três passadas tinham alarme falso. Agora ele pergunta de novo antes de dizer "não rodou", e um vazio de verdade continua sendo acusado.
Alarme falso ensina a ignorar alarme. Um vigia que erra muito vale menos do que nenhum, porque dá a sensação de que alguém está olhando.
Onde eu ainda não sei
O revisor não pega tudo. Num dos envios da semana, o próprio agente que escreveu deixou registrado que o teste prova as regras, mas não a ligação delas com o resto do programa, porque separar isso seria uma mudança maior do que o conserto. Fica anotado, não resolvido.
E revisão custa tempo e chamada de modelo. Eu pago esse custo em tudo o que sai para uma pessoa ou vai para o código que está no ar. Em rascunho que só eu vou ler, não.
O que eu faria nesta semana
Escolha uma coisa que o seu agente entrega com frequência: um e-mail, um commit, um texto. Só uma.
Abra uma conversa nova, sem histórico, e cole só três coisas: o resultado, o pedido original e as suas regras. Peça para ler como quem recebe aquilo e devolver aprovado, consertado ou barrado.
Se a entrega afirma um fato, cole também o fato. Sem isso, o revisor só confere o estilo.
Quando o revisor e o agente discordarem, não escolha logo. Peça para cada um escrever por quê e leia os dois.
Anote o que o revisor achou durante uma semana. Se ele não achou nada, ou a entrega é simples demais para precisar dele, ou ele está recebendo contexto demais.
Perguntas frequentes
Não basta pedir para o mesmo agente revisar com mais atenção?
Na minha experiência, não, e a pesquisa vai na mesma direção. O mesmo agente relê com o mesmo raciocínio que produziu o erro. O que ajuda é uma informação que ele não tinha: outra leitura, sem histórico, ou um fato de fora para conferir.
O revisor precisa ser outro modelo?
Não precisa. O que importa é que ele comece sem a conversa de quem fez. Eu uso o mesmo modelo, numa sessão separada, que recebe só o resultado, o pedido e as regras. O Claude Code chama isso de subagente: cada um roda com o próprio contexto.
E se o revisor estiver errado?
Às vezes está. Por isso quem fez pode discordar, por escrito, e essa discordância fica registrada junto com a entrega. A segunda leitura serve para obrigar a primeira a se explicar.
Fontes
Quem escreveu
Continue lendo
- Aprenda ComigoPara dominar a IA, o segredo não está no "como", mas no "porquê".Mais sobre Aprenda Comigo · · 1 min
🚀 Aprenda Comigo #03: Padrões de Commit Semântico com Conventional CommitsMais sobre Aprenda Comigo · · 2 min
🚀 Aprenda Comigo #02 — Domine seus fluxos de trabalho com Git (git-workflows)Mais sobre Aprenda Comigo · · 1 min
🚀 Aprenda Comigo #01 — Git EssentialsMais sobre Aprenda Comigo · · 1 min
O fim da era dos apps? A tela não morre, ela vira o lugar onde você aprovaAssunto parecido · · 8 min
Gerador de favicon: como criar o ícone do site a partir de imagem, emoji ou iniciaisMais recente · · 2 min