Em resumo: A sensibilidade ao prompt mede o quanto o conteúdo, as fontes ou as recomendações de uma resposta de IA mudam após um pequeno ajuste de prompt com significado controlado.
Como uso a sensibilidade ao prompt na prática
Não uso a sensibilidade ao prompt como mais um número em uma apresentação. Primeiro determino qual decisão ela deve esclarecer, quais dados ou observações a sustentam e quem mudará algo com base no resultado. Testo paráfrases predefinidas da mesma necessidade e separo os efeitos da formulação da variabilidade normal em respostas repetidas. Também registro a linha de base, a data de medição e os limites de interpretação. Assim, mais tarde, é possível distinguir um progresso real de uma mudança na ferramenta, na amostra ou na formulação da consulta.
O que observar
O maior risco é uma precisão que apenas parece exata. Se uma paráfrase mudar a intenção do cliente, isso não é sensibilidade à formulação, mas uma pergunta diferente e um mercado diferente sendo medido. Por isso, comparo os resultados ao longo do tempo, em uma amostra estável e junto do contexto comercial. Se o termo não levar a um próximo passo concreto, nenhuma análise foi criada, apenas um novo rótulo.
Perguntas para uma decisão
- As variantes preservam a mesma intenção?
- Quais palavras mudam a seleção das fontes?
- O efeito é repetível?
- Os prompts sensíveis devem ser incluídos em um cluster separado?