Kort sagt: Variabilitet i AI-svar är skillnaden mellan resultat som erhålls för samma eller jämförbara promptar vid olika upprepningar, tidpunkter eller i olika miljöer.
Så använder jag variabilitet i AI-svar i praktiken
I praktiken använder jag inte begreppet variabilitet i AI-svar som ännu en siffra i en presentation. Först fastställer jag vilket beslut den ska göra mer precist, vilka data eller observationer den bygger på och vem som kommer att ändra något till följd av den. För viktiga promptar kör jag flera upprepningar och visar, utöver genomsnittet, spridning, stabilitet i källhänvisningar och hur ofta olika svarstyper förekommer. Jag dokumenterar också baslinje, mätdatum och tolkningsbegränsningar. På så sätt går det senare att skilja en verklig förändring från en ändring i verktyget, urvalet eller formuleringen av frågan.
Vad man bör vara uppmärksam på
Den största risken är en precision som bara ser verklig ut. En enstaka före- och eftermätning kan förväxla slumpmässig variation med effekten av en innehållsändring eller kampanj. Därför jämför jag resultatet över tid, på ett stabilt urval och tillsammans med affärskontexten. Om begreppet inte leder till ett konkret nästa steg är resultatet inte analys, utan bara en ny etikett.
Frågor för beslutsfattande
- Hur många upprepningar motsvarar beslutets risk?
- Är det varumärket, källhänvisningarna eller bara ordföljden som förändras?
- Är förändringen större än den normala variationen?
- Förblev modellen och förutsättningarna desamma?