Kort fortalt: Variasjon i AI-svar er forskjellen mellom resultater som oppnås for samme eller sammenlignbare forespørsel ved ulike gjentakelser, tidspunkter eller i ulike miljøer.
Slik bruker jeg variasjon i AI-svar i praksis
I praksis bruker jeg ikke begrepet variasjon i AI-svar som bare enda et tall i en presentasjon. Først fastslår jeg hvilken beslutning det skal gjøre mer presis, hvilke data eller observasjoner det bygger på, og hvem som skal endre noe som følge av det. For viktige forespørsler gjennomfører jeg flere gjentakelser og viser, i tillegg til gjennomsnittet, spredning, stabilitet i kildehenvisninger og hyppigheten av ulike svartyper. Jeg registrerer også utgangspunktet, måledatoen og begrensningene for tolkningen. Slik blir det senere mulig å skille et reelt skifte fra en endring i verktøyet, utvalget eller formuleringen av forespørselen.
Dette bør du være oppmerksom på
Den største risikoen er en presisjon som bare ser reell ut. En enkelt måling før og etter kan forveksle tilfeldig variasjon med effekten av en innholdsendring eller kampanje. Derfor sammenligner jeg resultatet over tid, på et stabilt utvalg og sammen med forretningskonteksten. Hvis begrepet ikke fører til et konkret neste steg, er resultatet ikke analyse, men bare en ny merkelapp.
Spørsmål for beslutningstaking
- Hvor mange gjentakelser står i forhold til risikoen ved beslutningen?
- Er det merkevaren, kildehenvisningene eller bare ordrekkefølgen som endres?
- Er endringen større enn den normale variasjonen?
- Forble modellen og betingelsene de samme?