W skrócie: Mierzony prompt to precyzyjnie zapisane zapytanie, którego odpowiedź jest wielokrotnie zbierana w określonych warunkach, aby porównywać marki, źródła lub zmiany w czasie.
Jak w praktyce wykorzystuję mierzony prompt lub monitorowane zapytanie
W praktyce nie używam określenia mierzony prompt lub monitorowane zapytanie jako kolejnej liczby do prezentacji. Najpierw ustalam, którą decyzję ma ono doprecyzować, na jakich danych lub obserwacjach się opiera i kto zmieni coś na podstawie wyniku. Wraz z promptem zapisuję język, kraj, model lub produkt, datę, ewentualne logowanie oraz liczbę powtórzeń; w przeciwnym razie dwóch wyników nie da się porównać. Zapisuję także punkt odniesienia, datę pomiaru i granice interpretacji. Dzięki temu można później odróżnić rzeczywistą zmianę od zmiany narzędzia, próby lub sformułowania zapytania.
Na co uważać
Największym ryzykiem jest precyzja, która tylko wygląda na precyzję. Przepisanie jednego zdania może zmienić zarówno intencję, jak i wybrane źródła; połączenie wariantów w jeden szereg tworzy pozorny trend. Dlatego porównuję wynik w czasie, na stabilnej próbie i w połączeniu z kontekstem biznesowym. Jeśli termin nie prowadzi do konkretnego kolejnego kroku, nie przyniósł analizy, tylko nową etykietę.
Pytania pomocne przy podejmowaniu decyzji
- Czy prompt jest naturalny dla docelowego klienta?
- Czy warunki pomiaru są zapisane i możliwe do powtórzenia?
- Ile powtórzeń potrzebujemy w przypadku danej decyzji?
- Do którego klastra promptów należy zapytanie?