Kort gezegd: Promptgevoeligheid meet in hoeverre de inhoud, bronnen of aanbevelingen in een AI-antwoord veranderen na een kleine, betekenisbehoudende aanpassing van de prompt.
Hoe ik promptgevoeligheid in de praktijk gebruik
Ik gebruik promptgevoeligheid niet als zomaar een extra getal in een presentatie. Eerst bepaal ik welke beslissing ermee moet worden verduidelijkt, welke gegevens of observaties die ondersteunen en wie op basis van het resultaat iets zal veranderen. Ik test vooraf vastgelegde parafrasen van dezelfde behoefte en scheid formuleringseffecten van de normale variatie in herhaalde antwoorden. Ook leg ik de nulmeting, meetdatum en grenzen van de interpretatie vast. Zo kunnen we later echte vooruitgang onderscheiden van een verandering in de tool, steekproef of formulering van de vraag.
Waar je voor moet oppassen
Het grootste risico is nauwkeurigheid die alleen precies lijkt. Als een parafrase de intentie van de klant verandert, gaat het niet om gevoeligheid voor formulering, maar om een andere vraag en een andere markt die wordt gemeten. Daarom vergelijk ik resultaten in de tijd, op basis van een stabiele steekproef en samen met de bedrijfscontext. Als de term niet tot een concrete vervolgstap leidt, is er geen analyse ontstaan, maar alleen een nieuw label.
Vragen voor een beslissing
- Behouden de varianten dezelfde intentie?
- Welke woorden veranderen de bronselectie?
- Is het effect reproduceerbaar?
- Moeten gevoelige prompts in een apart cluster worden opgenomen?