간단히 말하면: 프롬프트 민감도는 의미를 통제한 작은 프롬프트 조정 후 AI 답변의 내용, 출처 또는 추천이 얼마나 달라지는지를 측정합니다.
실무에서 프롬프트 민감도를 사용하는 방법
프롬프트 민감도를 프레젠테이션에 넣는 또 하나의 숫자로 사용하지 않습니다. 먼저 어떤 의사결정을 명확하게 해야 하는지, 이를 뒷받침하는 데이터나 관찰은 무엇인지, 결과에 따라 누가 무엇을 바꿀지를 정합니다. 동일한 필요를 미리 정한 표현의 변형으로 테스트하고, 표현의 효과와 반복 답변에서 나타나는 일반적인 변동성을 구분합니다. 또한 기준선, 측정일과 해석의 한계를 기록합니다. 이렇게 하면 나중에 도구, 표본 또는 질의 표현의 변화와 실제 진전을 구분할 수 있습니다.
주의할 점
가장 큰 위험은 실제보다 정밀해 보이는 정확성입니다. 표현을 바꿨을 때 고객의 의도가 달라진다면, 이는 표현에 대한 민감도가 아니라 측정 대상이 다른 질문과 다른 시장인 것입니다. 따라서 시간의 흐름에 따라, 안정적인 표본에서, 비즈니스 맥락과 함께 결과를 비교합니다. 이 용어가 구체적인 다음 단계로 이어지지 않는다면 분석을 만든 것이 아니라 새로운 이름만 만든 것입니다.
의사결정을 위한 질문
- 변형된 표현이 동일한 의도를 유지하나요?
- 어떤 단어가 출처 선택을 바꾸나요?
- 효과가 반복해서 나타나나요?
- 민감한 프롬프트를 별도의 클러스터에 포함해야 하나요?