Agentes de IA em produção: o que ninguém te conta antes do primeiro deploy

A demo mente, e mente bem

Todo agente de IA parece genial nos primeiros quinze minutos. Você dá uma tarefa, ele encadeia três chamadas de ferramenta, devolve uma resposta redonda e a sala aplaude. O problema é que a demo roda no caso feliz: entrada limpa, uma tentativa, ninguém olhando o custo.

Produção é o contrário disso. Entrada suja, mil execuções por dia, e alguém — provavelmente você — de plantão às duas da manhã.

Um agente em produção não é um modelo com prompt. É um sistema distribuído em que um dos nós é não-determinístico.

Os quatro pontos onde quebra

1. O contexto estoura no pior momento. Enquanto o histórico é curto, tudo cabe. Na conversa número quarenta, o agente já esqueceu a instrução do início e passa a inventar com confiança. Trate a janela de contexto como um orçamento com dono: o que entra, entra por decisão explícita.

2. A ferramenta falha e o modelo improvisa. Quando uma API devolve 500, o modelo tende a seguir em frente com um palpite plausível. Devolva erros como dados estruturados e diga, no prompt, o que fazer diante de cada um. Erro tratado é erro que não vira alucinação.

3. O custo cresce em silêncio. Retentativas, histórico inteiro reenviado a cada passo, ferramentas que devolvem JSON gigante. A conta triplica sem nenhuma linha de código nova. Meça tokens por execução desde o primeiro dia — a métrica que ninguém coleta é a que explode.

4. Não dá para depurar o que não foi gravado. Sem o rastro completo de cada passo — prompt, resposta, chamada, retorno — você não investiga: você adivinha.

O que realmente ajuda

• Contrato de saída. Peça JSON com esquema e valide antes de usar. Saída livre é dívida técnica com juros.
• Um agente, um trabalho. Vários agentes pequenos e verificáveis batem um agente onisciente.
• Verificação adversarial. Um segundo passo cuja função é tentar derrubar a resposta do primeiro derruba muita coisa errada antes do usuário.
• Teto explícito. Limite de passos, de tempo e de custo por execução. Loop infinito com cartão de crédito acoplado é uma categoria de bug nova.
• Registro de tudo. Guarde a execução inteira. É o que transforma incidente em aprendizado.

tarefa → planejar → executar ferramenta → verificar → responder
                 ↑______________ falhou ______________|
                        (com teto de tentativas)

O critério que uso antes de publicar

Antes de subir qualquer agente, respondo três perguntas. Se alguma ficar sem resposta, ele não sobe.

1. Quando errar, como eu fico sabendo — antes do usuário me contar?
2. Qual é o pior caso de custo de uma única execução?
3. Existe um caminho em que o agente causa dano irreversível sem confirmação humana?

Agente bom não é o que acerta na demo. É o que falha de forma previsível, barata e visível.

Para a próxima matéria

Vou destrinchar o item mais ignorado dessa lista: como montar a camada de observabilidade de um agente sem afogar o time em log. Se quiser acompanhar, os canais estão logo abaixo, na assinatura.