Kort fortalt: Promptfølsomhed måler, hvor meget indholdet, kilderne eller anbefalingerne i et AI-svar ændrer sig efter en lille, men meningsmæssigt kontrolleret justering af prompten.
Sådan bruger jeg promptfølsomhed i praksis
Jeg bruger ikke promptfølsomhed som endnu et tal i en præsentation. Først fastslår jeg, hvilken beslutning den skal tydeliggøre, hvilke data eller observationer der understøtter den, og hvem der vil ændre noget på baggrund af resultatet. Jeg tester på forhånd definerede parafraser af det samme behov og adskiller formuleringseffekter fra almindelig variation i gentagne svar. Jeg registrerer også baseline, måledato og begrænsningerne i fortolkningen. Det gør det senere muligt at skelne reelle fremskridt fra en ændring i værktøjet, stikprøven eller formuleringen af forespørgslen.
Hvad skal du være opmærksom på
Den største risiko er en nøjagtighed, der kun ser præcis ud. Hvis en parafrase ændrer kundens intention, er det ikke følsomhed over for formuleringen, men et andet spørgsmål og et andet marked, der måles. Derfor sammenligner jeg resultater over tid, på en stabil stikprøve og sammen med forretningskonteksten. Hvis begrebet ikke fører til et konkret næste skridt, er der ikke skabt analyse, kun en ny betegnelse.
Spørgsmål til en beslutning
- Bevarer varianterne den samme intention?
- Hvilke ord ændrer kildevalget?
- Kan effekten gentages?
- Bør følsomme prompts placeres i en separat klynge?