AI回答の評価はどう進める? 事実確認と採点の練習例
「4,000円の15%引き」を聞かれ、AIが「600円」と答えたとします。割引額としては正しくても、支払額を聞かれたなら答えは3,400円です。評価では、何を答えるよう求められたかから確認します。
指示を短い採点表に分解する
質問に何を求められているかを、金額、説明、形式などに分けます。たとえば「支払総額と計算式を1行ずつ」なら、支払額、計算式、行数を別々に確認できます。条件が曖昧なら、回答が置いた前提が読者に伝わるか見ます。
数値や固有名詞から確認する
上の例では 4,000×0.15=600、4,000−600=3,400 と手元で確かめます。別の例で制度や日付が出てきたら、公式の発表など情報の出どころに当たり、適用時点も確認します。検証できない主張は、確認できなかった旨を記録します。
評価理由は具体的な箇所を示す
例:「Bを選びます。Aは割引額の600円を支払額として提示しています。Bは支払額3,400円と式を示し、指定の2行に収まっています。」文体の好みを理由にする前に、正確性と指示への適合で差がつくか確認します。
練習問題は自分で作る
割引計算、日付の読み取り、文章の要約などを題材に、架空の回答を二つ作ります。実際の仕事では案件の評価基準を読み、業務上の回答やデータを学習用の例として公開しないよう扱います。