RAGの落とし穴。「AIが嘘をつかない(ハルシネーション対策)」ためのデータ作りのTIPS
AIがもっともらしい顔をして「嘘」をつく現象(ハルシネーション)。業務利用において致命傷になりかねないこのリスクをどう防ぐか。
ハラさん
おーちゃん、自社専用AI(RAG)はすごい便利そうだけど、もしAIが『会社の嘘のルール』を自信満々に答えて、社員がそれを信じちゃったらヤバくないか?
おーちゃん
鋭いご指摘です。それを『ハルシネーション(幻覚)』と呼び、AIを業務利用する際の最大のリスクの一つです。
コッシー
どうすれば防げるの?
おーちゃん
TIPSは2つあります。1つ目は、AIへの指示(システムプロンプト)で『社内データに記載がない場合は、絶対に推測で答えず、「マニュアルに記載がありません」と回答すること』と強く制限をかけることです。
ハラさん
なるほど、知ったかぶりを禁止するわけか。
おーちゃん
2つ目は、『回答の最後に、必ず参照した社内データのファイル名とページ数(ソース)を明記させる』ことです。
コッシー
あ!それなら、質問した社員が『本当にそのマニュアルに書いてあるか』をすぐに元データで確認できるわね!
おーちゃん
はい!AIを100%信用するのではなく、『AIの回答+元データの確認』というプロセス(人間との協調)を設計することが、安全なAI運用の鉄則です。
💡今日のポイント
- AIの嘘(ハルシネーション)を防ぐため、「データにないことは答えない」と厳格に指示する
- AIの回答には必ず「参照した元データのファイル名・ページ数」を提示させ、人間が裏付け確認する
- インフィニティでは、ハルシネーションリスクを極小化する高度なRAGチューニング技術を提供しています
AI導入に迷ったら、プロに相談してみませんか?
インフィニティに無料相談する