Pular para o conteúdo
Ciro Cesar Maciel

Quem escreve não revisa. O que eu aprendi pondo um segundo agente para ler o trabalho do primeiro

Pedir para o agente conferir o próprio trabalho quase nunca acha o erro. O que mudou quando eu separei quem faz de quem revisa, com os casos reais desta semana.

Ciro Cesar Maciel6 min de leituraFeito com ajuda de IA

Nesta página · 8 seções
  1. O problema não é falta de cuidado
  2. Como eu montei
  3. O que o revisor achou nesta semana
  4. Quem vigia o vigia
  5. Onde eu ainda não sei
  6. O que eu faria nesta semana
  7. Perguntas frequentes
  8. Fontes

Você pede para o agente conferir o que ele mesmo fez, ele responde que está tudo certo, e não está. Este texto é sobre o que eu mudei para parar de cair nisso: quem escreve não revisa, nem quando quem escreve é uma máquina.

Ele mesmo foi escrito por um agente e lido por outro, que não viu nada do raciocínio do primeiro, antes de ir ao ar. Nesta semana essa regra passou a valer para boa parte do que os meus agentes entregam.

O problema não é falta de cuidado

Quando um agente revisa o próprio trabalho, ele relê com a mesma cabeça que escreveu. Ele sabe o que quis dizer, então lê o que quis dizer. Sabe por que tomou cada decisão, então cada decisão parece certa.

Isso não é impressão minha. Um artigo de pesquisadores do Google DeepMind, apresentado no ICLR 2024, testou exatamente isso: modelos de linguagem tentando corrigir o próprio raciocínio sem nenhuma informação de fora. A conclusão é que eles têm dificuldade em se corrigir sozinhos, e às vezes o resultado piora depois da "correção".

A palavra que importa ali é "sem informação de fora". O conserto não é pedir mais cuidado. É trazer um olhar que não estava lá quando o erro nasceu.

Como eu montei

A Anthropic descreve um padrão parecido num guia sobre agentes, que eles chamam de avaliador e otimizador: uma chamada gera, outra avalia e devolve o que achou. O que eu acrescentei veio de errar. São três regras.

O revisor não recebe o raciocínio de quem fez. Recebe o resultado, o pedido original e as regras do projeto. Nada da conversa. No código, cada revisor lê só a diferença do que mudou, o pedido e o arquivo de regras daquele repositório, um revisor por repositório. No blog, ele recebe o post, as fontes e o guia de voz, e lê como alguém que chega pela busca sem saber de nada.

O revisor devolve uma de três respostas. Aprovado. Consertado, dizendo o que mudou. Ou barrado, com o motivo. Barrado, o texto é reescrito uma vez e vai para um revisor novo. Barrado duas vezes, não sai nada naquela semana. Prefiro uma semana sem post a um post que dois leitores frios recusaram.

Quem fez pode discordar, por escrito. O revisor não é chefe. Quando o agente que escreveu o código acha que o revisor está errado, ele não ignora nem obedece calado: escreve "onde discordo ou deixei como está" e diz por quê. Eu leio essa parte primeiro.

O que o revisor achou nesta semana

Teoria eu tinha. O que me convenceu foram três casos destes dias.

Um conserto que deixaria o vigia cego. Uma rotina diária terminou em erro, e o agente consertou fazendo cada passo rodar por conta própria, cada um com o seu tratamento de erro. Parecia certo. O revisor barrou o envio: do jeito que estava, a rotina sempre terminaria "ok", e o sistema que vigia essas rotinas nunca mais veria a próxima quebra. Ele tinha razão. Agora todos os passos rodam e, se algum falhou, a rotina termina em erro.

Quem escreveu o conserto não tinha como ver isso. Ele estava resolvendo "a rotina quebrou". O revisor estava lendo "o que acontece na próxima vez que ela quebrar".

Um comentário que mentia. Num outro envio, um comentário no código dizia que o auditor lia uma certa linha do registro e o código de saída de cada execução. Ele não lia. O revisor apontou, e a correção foi ensinar o auditor a ler aquela linha, além de consertar o comentário. Comentário falso é pior que nenhum: o próximo agente que abrir o arquivo vai acreditar nele.

Uma mensagem que afirmava mais do que o número dizia. Tenho um agente que conversa por WhatsApp com donos de pequenos negócios, e toda mensagem dele passa por um segundo agente antes de sair. Nesta semana mudei o que esse revisor recebe. A primeira mensagem só pode afirmar o período que o número de fato conta: se há cliques nos últimos 7 dias, ela diz 7 dias; se não há, usa a conta de duas semanas e diz "nas últimas duas semanas". E o revisor recebe o período real junto com o texto.

Esse foi o aprendizado que eu não esperava. Um revisor que só lê o texto confere a gramática e o tom. Para conferir uma afirmação, ele precisa do fato contra o qual conferir.

Quem vigia o vigia

A mesma lógica subiu um nível. Esta semana entrou um auditor que roda de duas em duas horas e confere cada agente: se rodou, se fez o que diz que fez, e se só mandou mensagem que tinha valor para quem recebeu. Ele não faz o trabalho de ninguém. Lê o que os outros deixaram e anota o que precisa de conserto.

E o próprio vigia precisou de conserto. O sistema que confere se as rotinas rodaram dava alarme falso quando o registro respondia vazio por um instante. Antes do conserto, duas de três passadas tinham alarme falso. Agora ele pergunta de novo antes de dizer "não rodou", e um vazio de verdade continua sendo acusado.

Alarme falso ensina a ignorar alarme. Um vigia que erra muito vale menos do que nenhum, porque dá a sensação de que alguém está olhando.

Onde eu ainda não sei

O revisor não pega tudo. Num dos envios da semana, o próprio agente que escreveu deixou registrado que o teste prova as regras, mas não a ligação delas com o resto do programa, porque separar isso seria uma mudança maior do que o conserto. Fica anotado, não resolvido.

E revisão custa tempo e chamada de modelo. Eu pago esse custo em tudo o que sai para uma pessoa ou vai para o código que está no ar. Em rascunho que só eu vou ler, não.

O que eu faria nesta semana

  1. Escolha uma coisa que o seu agente entrega com frequência: um e-mail, um commit, um texto. Só uma.

  2. Abra uma conversa nova, sem histórico, e cole só três coisas: o resultado, o pedido original e as suas regras. Peça para ler como quem recebe aquilo e devolver aprovado, consertado ou barrado.

  3. Se a entrega afirma um fato, cole também o fato. Sem isso, o revisor só confere o estilo.

  4. Quando o revisor e o agente discordarem, não escolha logo. Peça para cada um escrever por quê e leia os dois.

  5. Anote o que o revisor achou durante uma semana. Se ele não achou nada, ou a entrega é simples demais para precisar dele, ou ele está recebendo contexto demais.

Perguntas frequentes

Não basta pedir para o mesmo agente revisar com mais atenção?

Na minha experiência, não, e a pesquisa vai na mesma direção. O mesmo agente relê com o mesmo raciocínio que produziu o erro. O que ajuda é uma informação que ele não tinha: outra leitura, sem histórico, ou um fato de fora para conferir.

O revisor precisa ser outro modelo?

Não precisa. O que importa é que ele comece sem a conversa de quem fez. Eu uso o mesmo modelo, numa sessão separada, que recebe só o resultado, o pedido e as regras. O Claude Code chama isso de subagente: cada um roda com o próprio contexto.

E se o revisor estiver errado?

Às vezes está. Por isso quem fez pode discordar, por escrito, e essa discordância fica registrada junto com a entrega. A segunda leitura serve para obrigar a primeira a se explicar.

Fontes

XLinkedInWhatsAppE-mail

Quem escreveu

Ciro Cesar Maciel

Sou marido, pai e trabalho com tecnologia há mais de duas décadas, construindo sistemas para grandes empresas e liderando times técnicos. Desde 2024 desenvolvo ferramentas digitais e aplico Inteligência Artificial para viver e trabalhar com mais clareza, e escrevo aqui sobre isso.

Todos os textos

Continue lendo

Comentários

Seu e-mail fica com Ciro Cesar Maciel para moderar e responder. O comentário aparece depois de aprovado.