In breve: La sensibilità del prompt misura quanto cambiano i contenuti, le fonti o le raccomandazioni in una risposta dell’IA dopo una piccola modifica del prompt che ne mantiene invariato il significato.
Come utilizzo la sensibilità del prompt nella pratica
Non utilizzo la sensibilità del prompt come un altro numero in una presentazione. Per prima cosa stabilisco quale decisione dovrebbe chiarire, quali dati o osservazioni la supportano e chi cambierà qualcosa sulla base del risultato. Testo parafrasi predefinite della stessa esigenza e separo gli effetti della formulazione dalla normale variabilità nelle risposte ripetute. Registro anche il valore di riferimento, la data di misurazione e i limiti dell’interpretazione. In seguito questo permette di distinguere un progresso reale da un cambiamento nello strumento, nel campione o nella formulazione della query.
A cosa prestare attenzione
Il rischio maggiore è una precisione che dà solo l’impressione di esserlo. Se una parafrasi cambia l’intento del cliente, non si tratta di sensibilità alla formulazione, ma di una domanda diversa e di un mercato diverso da misurare. Per questo confronto i risultati nel tempo, su un campione stabile e insieme al contesto aziendale. Se il termine non porta a un passo successivo concreto, non è stata creata alcuna analisi, ma solo una nuova etichetta.
Domande per una decisione
- Le varianti mantengono lo stesso intento?
- Quali parole modificano la selezione delle fonti?
- L’effetto è ripetibile?
- I prompt sensibili dovrebbero essere inclusi in un cluster separato?