En bref : La sensibilité aux prompts mesure dans quelle mesure le contenu, les sources ou les recommandations d’une réponse d’IA changent après une légère modification du prompt, à sens constant.
Comment j’utilise la sensibilité aux prompts en pratique
Je n’utilise pas la sensibilité aux prompts comme un chiffre de plus dans une présentation. Je détermine d’abord quelle décision elle doit éclairer, quelles données ou observations l’étayent et qui changera quelque chose en fonction du résultat. Je teste des paraphrases prédéfinies du même besoin et je distingue les effets de formulation de la variabilité ordinaire des réponses répétées. Je consigne également la référence initiale, la date de mesure et les limites d’interprétation. Il devient ainsi possible de distinguer plus tard un véritable progrès d’un changement dans l’outil, l’échantillon ou la formulation de la requête.
Points de vigilance
Le plus grand risque est une précision qui n’est qu’apparente. Si une paraphrase modifie l’intention du client, il ne s’agit pas d’une sensibilité à la formulation, mais d’une question différente et d’un marché différent mesuré. Je compare donc les résultats dans le temps, sur un échantillon stable et avec le contexte commercial. Si le terme ne conduit pas à une prochaine étape concrète, aucune analyse n’a été produite, seulement une nouvelle étiquette.
Questions pour une décision
- Les variantes conservent-elles la même intention ?
- Quels mots modifient la sélection des sources ?
- L’effet est-il reproductible ?
- Les prompts sensibles doivent-ils être inclus dans un groupe distinct ?