Kort sagt: Promptkänslighet mäter hur mycket innehåll, källor eller rekommendationer i ett AI-svar förändras efter en liten, betydelsekontrollerad justering av prompten.
Så använder jag promptkänslighet i praktiken
Jag använder inte promptkänslighet som ännu ett tal i en presentation. Först avgör jag vilket beslut den ska förtydliga, vilka data eller observationer som stöder det och vem som ska ändra något utifrån resultatet. Jag testar fördefinierade parafraser av samma behov och skiljer formuleringseffekter från normal variation i upprepade svar. Jag dokumenterar också baslinje, mätdatum och tolkningsbegränsningar. Det gör det senare möjligt att skilja verkliga framsteg från en förändring i verktyget, urvalet eller frågans formulering.
Vad man bör vara uppmärksam på
Den största risken är en noggrannhet som bara verkar precis. Om en parafras förändrar kundens avsikt handlar det inte om känslighet för formuleringar, utan om en annan fråga och en annan marknad som mäts. Därför jämför jag resultat över tid, med ett stabilt urval och tillsammans med affärssammanhanget. Om termen inte leder till ett konkret nästa steg har ingen analys skapats, utan bara en ny etikett.
Frågor inför ett beslut
- Bevarar varianterna samma avsikt?
- Vilka ord förändrar valet av källa?
- Är effekten reproducerbar?
- Bör känsliga promptar ingå i ett separat kluster?