Kort fortalt: Promptfølsomhet måler hvor mye innholdet, kildene eller anbefalingene i et AI-svar endres etter en liten justering av prompten med samme betydning.
Slik bruker jeg promptfølsomhet i praksis
Jeg bruker ikke promptfølsomhet som enda et tall i en presentasjon. Først avgjør jeg hvilken beslutning den skal tydeliggjøre, hvilke data eller observasjoner som støtter den, og hvem som skal endre noe basert på resultatet. Jeg tester forhåndsdefinerte parafraser av det samme behovet og skiller effekten av formuleringen fra vanlig variasjon i gjentatte svar. Jeg registrerer også utgangspunktet, måledatoen og grensene for tolkningen. Da blir det senere mulig å skille reell fremgang fra en endring i verktøyet, utvalget eller formuleringen av søket.
Hva bør du passe på
Den største risikoen er en nøyaktighet som bare ser presis ut. Hvis en parafrase endrer kundens intensjon, er dette ikke følsomhet for formuleringen, men et annet spørsmål og et annet marked som måles. Derfor sammenligner jeg resultater over tid, på et stabilt utvalg og sammen med forretningskonteksten. Hvis begrepet ikke fører til et konkret neste steg, er det ikke skapt noen analyse – bare en ny merkelapp.
Spørsmål for en beslutning
- Bevarer variantene den samme intensjonen?
- Hvilke ord endrer kildeutvalget?
- Kan effekten gjentas?
- Bør følsomme prompter inkluderes i en separat klynge?