Portão de prontidão não protege agente em produção

Corey Seamster, System Intelligence Practitioner na Evernorth, do grupo Cigna, publicou nesta segunda-feira um material de dez páginas sobre um problema que está ficando comum: a IA constrói exatamente o que foi pedido, e quase ninguém volta para conferir se o que foi pedido era o certo.

Ele citou a Tailor.ia pelo nome, reescreveu uma das recomendações depois de uma discordância nossa e usou uma frase do nosso fundador como página inteira do material.

O que estava em jogo

A recomendação original para a fase pós lançamento era marcar datas de revisão. Combina-se uma data, revisa-se o que foi entregue.

O problema prático é que data de revisão avisa a todo mundo exatamente quando é preciso parecer bem. Pior: ela é pulada justamente no trimestre em que os números estão bons, que é quando ninguém sente necessidade de olhar.

A alternativa que propusemos foi amostra cega. Sorteia-se um caso entre os que a operação considera acerto e lê-se o que de fato aconteceu, não o rótulo de concluído. Funciona porque ninguém sabe de antemão quais casos vão ser lidos, então ninguém consegue preparar só aqueles.

A página foi reescrita nesse sentido, creditando a forma como a Tailor.ia audita agentes em produção.

Por que isso importa para quem tem agente no ar

Um portão de prontidão colocado apenas no lançamento testa se o agente era seguro para ligar. Ele nunca testa se ainda é seguro deixar ligado seis meses depois.

É o que vemos na operação dos clientes. O agente passa em todos os testes no dia da virada. Depois o catálogo muda, a tabela de preço muda, a regra de desconto muda, a versão do modelo muda. A resposta não quebra, ela escorrega. Continua fluente, educada e cada vez menos correta.

Nenhum painel de disponibilidade acusa isso, porque do ponto de vista da infraestrutura está tudo no ar. Quem percebe primeiro costuma ser o cliente, e o cliente raramente reclama. Ele só para de responder.

Três medidas que cabem nesta semana

1. Escreva a intenção de forma verificável. O que deve mudar, em quanto, como saberemos e o que nos faria parar. Se a intenção nunca foi escrita assim, não existe contra o que comparar depois.

1. Troque a data de revisão pela amostra. Sorteie dez conversas da semana anterior, de preferência entre as marcadas como sucesso, e leia cada uma inteira. Não o resumo.

1. Defina antes o critério de desligar. É o número que quase ninguém escreve e o único que transforma uma percepção de qualidade em decisão operacional.

Governança de agente não é um documento assinado antes da virada de chave. É uma rotina de leitura depois dela.

Se a sua operação tem agentes em produção e ninguém sabe dizer quando foi a última vez que alguém leu uma conversa inteira, o nosso diagnóstico começa exatamente por essa leitura.