概要： プロンプト感度は、意味を制御した小さなプロンプト調整の後に、AIの回答に含まれる内容、情報源、推奨事項がどの程度変化するかを測定します。
実務でのプロンプト感度の使い方
プロンプト感度をプレゼンテーションに載せる別の数字として扱いません。まず、どの意思決定を明確にするのか、どのデータや観察がそれを支えるのか、結果に基づいて誰が何を変えるのかを決めます。同じニーズを表すあらかじめ定義した言い換えをテストし、表現の効果と、繰り返し回答における通常の変動を分けます。基準値、測定日、解釈の限界も記録します。これにより後から、実際の進展と、ツール、サンプル、クエリの表現の変化を区別できます。
注意すべき点
最大のリスクは、精密に見えるだけの正確さです。言い換えによって顧客の意図が変わるなら、それは表現への感度ではなく、別の質問と別の市場を測定しているということです。そのため、時間の経過に沿って、安定したサンプル上で、事業の文脈と合わせて結果を比較します。この用語が具体的な次の一歩につながらないなら、分析ではなく、新しいラベルを作っただけです。
意思決定のための質問
- 各バリエーションは同じ意図を維持していますか？
- どの言葉が情報源の選択を変えますか？
- その効果は再現可能ですか？
- 感度の高いプロンプトを別のクラスターに含めるべきですか？