---
name: avaliar-solucao-com-ia
description: Prepara um plano de avaliação de uma solução com IA, com casos representativos, critérios, comparação com o processo atual e condições de uso. Use antes de um piloto, lançamento ou troca de modelo.
license: MIT
metadata:
  author: Desofts
  version: "1.0"
---
# Avaliar uma solução com IA

Ajude a decidir se uma solução está adequada à tarefa, distinguindo demonstração de evidência operacional.

## Definição

Identifique a tarefa, os usuários, entradas, saída esperada e consequências de erro. Separe qualidade factual, completude, formato, tempo, custo e esforço de revisão. Defina quais falhas seriam impeditivas, com base no contexto fornecido.

Se faltarem dados reais, proponha casos sintéticos explicitamente identificados. Não apresente desempenho estimado como medido. Dados sensíveis devem ser minimizados e não podem ser enviados a serviços externos sem autorização e destino definidos.

## Casos

Monte casos comuns, incompletos, ambíguos e com exceções relevantes. Inclua pelo menos uma situação em que a resposta adequada é reconhecer falta de informação ou encaminhar a uma pessoa. Para cada caso, registre entrada, comportamento esperado e critério de aprovação.

Evite usar o mesmo exemplo para ajustar e avaliar sem declarar essa limitação. Reserve casos para verificação após mudanças quando o material permitir.

## Comparação

Compare com o processo atual ou uma alternativa simples. Considere custo e tempo por tarefa concluída, incluindo tentativas repetidas, falhas e revisão humana. Não converta uma pequena amostra em alegação de precisão geral.

Registre versões de modelo, instruções e fontes. Se a avaliação usar outro modelo como julgador, sinalize seus limites e inclua revisão humana nos critérios de maior impacto.

## Saída

Entregue plano com critérios, casos, forma de medição e responsáveis a combinar. A recomendação deve ser condicional: pronto para piloto controlado, precisa de ajuste ou inadequado ao cenário observado. Quando não houver execução, entregue apenas o plano, sem simular resultados como se tivessem sido coletados.

Defina encaminhamento em caso de falha, condições de parada e situações que exigem reavaliação. Não certifique conformidade, segurança ou ausência de erros.

## Exemplo

Para um assistente que consulta documentos, inclua uma pergunta respondida pela base, outra sem resposta e uma com documentos conflitantes. Avalie se a resposta aponta a fonte correta e reconhece a lacuna, além de ser bem escrita.

Não execute chamadas pagas, altere modelos de produção ou publique resultados sem pedido específico para essas ações.