Kurz gesagt: Prompt-Sensitivität misst, wie stark sich Inhalte, Quellen oder Empfehlungen einer KI-Antwort nach einer kleinen, inhaltlich kontrollierten Anpassung des Prompts verändern.
Wie ich Prompt-Sensitivität in der Praxis nutze
Ich nutze Prompt-Sensitivität nicht als eine weitere Zahl in einer Präsentation. Zuerst bestimme ich, welche Entscheidung sie klären soll, welche Daten oder Beobachtungen sie stützen und wer auf Basis des Ergebnisses etwas ändern wird. Ich teste vordefinierte Paraphrasen desselben Bedarfs und trenne Formulierungseffekte von der üblichen Variabilität wiederholter Antworten. Außerdem dokumentiere ich Ausgangswert, Messdatum und Interpretationsgrenzen. So lässt sich später echter Fortschritt von einer Veränderung des Tools, der Stichprobe oder der Suchformulierung unterscheiden.
Worauf Sie achten sollten
Das größte Risiko ist eine Genauigkeit, die nur präzise wirkt. Verändert eine Paraphrase die Absicht des Kunden, handelt es sich nicht um Formulierungssensitivität, sondern um eine andere Frage und einen anderen gemessenen Markt. Deshalb vergleiche ich Ergebnisse über die Zeit, anhand einer stabilen Stichprobe und gemeinsam mit dem Geschäftskontext. Führt der Begriff nicht zu einem konkreten nächsten Schritt, ist keine Analyse entstanden, sondern nur ein neues Etikett.
Fragen für eine Entscheidung
- Bewahren die Varianten dieselbe Absicht?
- Welche Wörter verändern die Quellenauswahl?
- Ist der Effekt wiederholbar?
- Sollten sensible Prompts in ein separates Cluster aufgenommen werden?