Lyhyesti: Promptin herkkyys mittaa, kuinka paljon tekoälyn vastauksen sisältö, lähteet tai suositukset muuttuvat, kun promptia säädetään hieman mutta merkitys pidetään samana.
Miten käytän promptin herkkyyttä käytännössä
En käytä promptin herkkyyttä vain yhtenä numerona esityksessä. Määritän ensin, mitä päätöstä sen pitäisi selventää, mikä data tai havainnot tukevat sitä ja kuka muuttaa jotain tuloksen perusteella. Testaan ennalta määritettyjä parafraaseja samasta tarpeesta ja erotan sanamuotojen vaikutukset toistuvien vastausten tavanomaisesta vaihtelusta. Kirjaan myös lähtötason, mittauspäivän ja tulkinnan rajat. Näin voin myöhemmin erottaa todellisen edistymisen työkalun, otoksen tai kyselyn sanamuodon muutoksesta.
Mitä kannattaa varoa
Suurin riski on vain tarkalta näyttävä täsmällisyys. Jos parafraasi muuttaa asiakkaan tarkoitusta, kyse ei ole sanamuodon herkkyydestä vaan eri kysymyksestä ja eri mitattavasta markkinasta. Siksi vertaan tuloksia ajan mittaan, vakaassa otoksessa ja liiketoimintakontekstin yhteydessä. Jos termi ei johda konkreettiseen seuraavaan askeleeseen, analyysiä ei ole syntynyt, vain uusi nimike.
Päätöstä ohjaavat kysymykset
- Säilyttävätkö versiot saman tarkoituksen?
- Mitkä sanat muuttavat lähteiden valintaa?
- Toistuuko vaikutus?
- Pitäisikö herkät promptit sisällyttää erilliseen klusteriin?