AI-Cafe #065:RAGの落とし穴。「AIが嘘をつかない(ハルシネーション対策)」ためのデータ作りのTIPS

AI-Cafe #065 RAGの落とし穴。「AIが嘘をつかない(ハルシネーション対策)」ためのデータ作りのTIPS

RAGの落とし穴。「AIが嘘をつかない(ハルシネーション対策)」ためのデータ作りのTIPS

AIがもっともらしい顔をして「嘘」をつく現象(ハルシネーション)。業務利用において致命傷になりかねないこのリスクをどう防ぐか。

ハラさん
ハラさん おーちゃん、自社専用AI(RAG)はすごい便利そうだけど、もしAIが『会社の嘘のルール』を自信満々に答えて、社員がそれを信じちゃったらヤバくないか?
おーちゃん
おーちゃん 鋭いご指摘です。それを『ハルシネーション(幻覚)』と呼び、AIを業務利用する際の最大のリスクの一つです。
コッシー
コッシー どうすれば防げるの?
おーちゃん
おーちゃん TIPSは2つあります。1つ目は、AIへの指示(システムプロンプト)で『社内データに記載がない場合は、絶対に推測で答えず、「マニュアルに記載がありません」と回答すること』と強く制限をかけることです。
ハラさん
ハラさん なるほど、知ったかぶりを禁止するわけか。
おーちゃん
おーちゃん 2つ目は、『回答の最後に、必ず参照した社内データのファイル名とページ数(ソース)を明記させる』ことです。
コッシー
コッシー あ!それなら、質問した社員が『本当にそのマニュアルに書いてあるか』をすぐに元データで確認できるわね!
おーちゃん
おーちゃん はい!AIを100%信用するのではなく、『AIの回答+元データの確認』というプロセス(人間との協調)を設計することが、安全なAI運用の鉄則です。

💡今日のポイント

  • AIの嘘(ハルシネーション)を防ぐため、「データにないことは答えない」と厳格に指示する
  • AIの回答には必ず「参照した元データのファイル名・ページ数」を提示させ、人間が裏付け確認する
  • インフィニティでは、ハルシネーションリスクを極小化する高度なRAGチューニング技術を提供しています

AI導入に迷ったら、プロに相談してみませんか?

インフィニティに無料相談する

大畑 祐貴

(株)インフィニティ 代表取締役。文系として、わかりやすくITを説明し、武器として活用してもらうコンサルティングを行っています。

関連記事

AI-Cafe #044: 長文PDFを一瞬で読む。AIに「要約」ではなく「Q&A」させるTIPS

AI-Cafe #063:社内ヘルプデスク(情シス・総務)の問い合わせをAIチャットボットで半減させるTIPS

AI-Cafe #011:展示会で「AIエージェント」のデモを見た。でも意味がわからなかった件

PAGE TOP