要約すると： 測定プロンプトとは、ブランド、情報源、または時間の経過による変化を比較するため、定めた条件のもとで回答を繰り返し収集する、正確に記録されたクエリです。
実務で測定プロンプト、または追跡クエリをどう使うか
実務では、測定プロンプトや追跡クエリという言葉を、プレゼンテーション用の別の数字として使うことはありません。まず、それによってどの意思決定をより明確にしたいのか、どのデータや観察結果を用いるのか、結果をもとに誰が何かを変えるのかを決めます。プロンプトとともに、言語、国、モデルまたは製品、日付、ログインの有無、繰り返し回数を記録します。そうしなければ、2つの結果を比較できません。さらに、ベースライン、測定日、解釈の限界も記録します。これにより後から、実際の変化と、ツール・サンプル・クエリの文言の変化を区別できます。
注意すべき点
最大のリスクは、正確に見えるだけの精度です。1文を書き換えるだけで、意図も選ばれる情報源も変わる可能性があります。複数のバリアントを1つの系列に混ぜると、見かけ上のトレンドが生まれます。そのため私は、安定したサンプル上で、ビジネスの文脈と合わせて、時間の経過による結果を比較します。その用語が具体的な次の一歩につながらないなら、分析を生み出したのではなく、新しいラベルを生み出しただけです。
意思決定のための質問
- そのプロンプトは、対象顧客にとって自然ですか？
- 測定条件は記録され、再現可能ですか？
- 対象となる意思決定には、何回の繰り返しが必要ですか？
- そのクエリは、どのプロンプトクラスターに属しますか？