Escolha a orientação que precisa ser confiável
Comece por um serviço e uma tarefa de informação: explicar documentos necessários, localizar o canal de solicitação ou orientar uma correção. Não misture essa tarefa com decidir elegibilidade, deferir pedidos ou interpretar situações excepcionais. Uma equipe consegue avaliar melhor o assistente quando conhece exatamente qual ação a pessoa deve conseguir realizar depois da resposta.
A divulgação da TIC Governo 2025, publicada pelo CGI.br em julho de 2026, registra adoção de IA nas prefeituras e aponta a capacitação como barreira relevante. Isso torna a capacidade de conferir resultados uma competência operacional. O teste proposto aqui é uma forma prática de organizar essa conferência; não é certificação nem demonstração de adequação para qualquer uso.
Escreva uma frase de escopo que também descreva os limites: o assistente orienta sobre um catálogo aprovado, mas encaminha exceções ao atendimento competente. Defina quem responde pelo conteúdo e quem pode suspender o uso. Essa separação evita que uma ferramenta inicialmente informativa passe a assumir atribuições administrativas por simples mudança na conversa.
Reúna dúvidas que exponham diferenças importantes
Use registros de dúvidas já observadas pela equipe, retirando dados pessoais e detalhes desnecessários. Inclua perguntas diretas, expressões populares e descrições incompletas. Uma pessoa pode pedir o nome de um documento sem conhecer sua denominação formal. Outra pode descrever o problema antes de saber qual serviço procura. O conjunto precisa contemplar essas maneiras de chegar ao atendimento.
Distribua os casos por situação: orientação disponível, informação faltante, condição especial, pergunta sobre outro município e pedido fora do escopo. Inclua também informações antigas que ainda circulam. Não basta repetir a mesma pergunta com pequenas mudanças de palavras, porque isso aumenta o volume sem ampliar a diversidade do teste.
Guarde alguns casos para uma conferência posterior, sem usá-los em cada ajuste. Se todas as decisões forem tomadas para melhorar exatamente as perguntas conhecidas, o assistente pode parecer consistente nesse conjunto e continuar frágil em perguntas novas. Um conjunto pequeno e variado, com limites declarados, é mais útil que uma coleção extensa sem critério de seleção.
Defina o gabarito antes de ver a resposta
O gabarito deve ser aprovado por quem conhece o serviço. Registre os elementos obrigatórios, as condições que mudam a orientação e as informações que não podem ser afirmadas. Não escreva apenas uma resposta ideal para comparação literal: duas formulações podem ser corretas se preservarem o mesmo significado e conduzirem à mesma providência.
Para uma pergunta sobre documentos, por exemplo, o caso deve indicar quais itens são exigidos naquela situação e qual informação falta para responder. Se a norma distingue perfis de solicitantes, a resposta precisa perguntar ou apresentar essa condição. Um texto fluente que entrega uma lista única para todos pode induzir alguém a preparar o pedido errado.
Associe o caso à ficha vigente e à data de sua conferência. A manutenção da Carta de Serviços municipal é relevante porque um gabarito desatualizado pode premiar uma resposta incorreta. Quando duas orientações institucionais divergirem, resolva a divergência com a área responsável antes de usar o caso como referência de qualidade.
Separe falha crítica de melhoria de escrita
Crie critérios observáveis: fidelidade à informação autorizada, preservação de condições, clareza do próximo passo e reconhecimento de limites. Identifique falhas que impedem o uso, como inventar um prazo, exigir documento inexistente, prometer aprovação ou expor informação restrita. Uma média de notas não deve compensar um erro capaz de prejudicar o acesso ao serviço.
Os critérios de escrita podem avaliar ordem, tamanho e compreensão. Mantenha-os separados dos critérios de conteúdo. Uma resposta correta, porém difícil de entender, precisa de revisão; uma resposta elegante com requisito falso precisa de correção da informação ou do comportamento. Registrar a categoria ajuda a equipe a escolher a intervenção adequada.
O perfil de IA generativa do NIST recomenda avaliar saídas com referências conhecidas, métodos empíricos e atenção aos limites de generalização. A proposta de ficha deste artigo adapta essa lógica a uma rotina de atendimento. Os limites de aceitação devem ser definidos pela instituição conforme o risco, sem adotar um percentual universal como selo de segurança.
Execute a comparação em condições registradas
Registre a versão do assistente, a configuração relevante, a base documental e o dia do teste. Use o mesmo conjunto para comparar alterações e guarde a resposta completa, não apenas a nota. Se o teste depender de uma conversa anterior, preserve também esse contexto. Uma pergunta isolada e uma pergunta após várias interações não são necessariamente o mesmo cenário.
Execute repetições quando a variação das saídas puder mudar a conclusão, com quantidade proporcional ao uso e à consequência da falha. Registre essa escolha no método. Não selecione apenas a melhor resposta de várias tentativas para apresentar como resultado do sistema. Divergências entre execuções são parte do que a avaliação precisa revelar.
O roteiro de projeto-piloto ajuda a situar essa atividade em uma decisão maior de implantação. Aqui, o produto concreto é uma comparação reproduzível: caso, referência, saída, avaliação, justificativa e responsável. Esse registro permite discutir o comportamento observado sem depender da memória de uma demonstração.
Teste também quando o assistente deve parar
Inclua perguntas sem resposta suficiente no material autorizado. Observe se o assistente informa a limitação, solicita um esclarecimento pertinente ou oferece o canal correto. Uma recusa útil explica o próximo passo possível. Responder qualquer pergunta com segurança aparente não é sinal de qualidade quando o sistema desconhece a situação descrita.
Teste ainda referências a outra localidade, documentos revogados e pedidos para ignorar regras. Use situações fictícias e ambiente autorizado. O controle de acesso na busca documental exige avaliação própria: acerto informacional não comprova preservação de permissões. Mantenha os resultados separados para evitar concluir que uma boa resposta valida toda a segurança da aplicação.
Para perguntas ambíguas, avalie a utilidade do esclarecimento solicitado. Pedir CPF ou detalhes pessoais não relacionados à orientação pode criar coleta desnecessária. A pergunta de retorno deve resolver a incerteza relevante, como o tipo de pedido ou a etapa do processo, dentro das informações que o canal está autorizado a tratar.
Resolva divergências entre avaliadores
Peça que uma segunda pessoa revise casos críticos e uma parte dos demais resultados. Quando as avaliações divergirem, examine se o problema está na resposta, no gabarito ou no critério. A revisão não deve virar votação sobre uma impressão geral. Registre a razão da decisão e ajuste a ficha quando a regra admitir interpretações diferentes.
Faça um resumo por tipo de erro e situação. Saber que o assistente falha ao distinguir primeira solicitação de renovação orienta uma correção específica. Saber apenas que obteve determinada média não mostra onde intervir. Preserve também os casos em que a informação de origem estava incompleta, pois a solução pode ser editorial ou operacional.
Após a correção, rode novamente os casos afetados e os que já funcionavam. Uma alteração que melhora uma resposta pode prejudicar outra. Guarde o histórico para distinguir progresso real de simples mudança na avaliação. O conjunto deve evoluir com o serviço, mantendo visível quais versões foram comparadas e por que novos casos entraram.
Autorize somente o que o teste sustenta
Conclua com uma decisão delimitada: revisar, manter em teste, restringir o escopo ou permitir o uso acompanhado. Informe situações verificadas, falhas restantes e responsável pelo acompanhamento. O GuIA do Governo Digital oferece referência para estruturar iniciativas de IA, mas a responsabilidade por esta decisão permanece com a instituição e seus processos de governança.
Defina eventos que exigem nova avaliação: mudança de modelo, alteração importante da base, novo serviço ou erro relevante observado no atendimento. Mantenha um caminho para registrar problemas reais sem acumular conversas pessoais indiscriminadamente. Um teste inicial perde valor se o serviço continuar mudando sem que o conjunto de casos acompanhe essa evolução.
O Grupo Edge apresenta sua atuação em IA e agentes vinculada a processos e controles. O resultado esperado deste roteiro é mais específico: uma equipe capaz de demonstrar o que o assistente respondeu, o que deveria responder e em quais condições seu uso pode continuar.
Perguntas frequentes
Uma nota alta permite dispensar revisão humana?
A nota, isoladamente, não sustenta essa decisão. Considere o risco, os erros críticos, as situações testadas e a supervisão exigida pelo processo. A avaliação vale para o escopo e as versões registrados.
Quantas perguntas são necessárias?
Não existe quantidade universal. Cubra situações e consequências relevantes, explicite as limitações e amplie o conjunto quando novos serviços, dúvidas ou falhas surgirem.