生成AIのハルシネーション対策で重要な「確認していない事実」の見抜き方
AIに文章を整えてもらうと、元のメモより読みやすく、自然な文章になります。
私も記事や資料の校正でAIを使っていますが、実際に困ったのは、明らかな誤字よりも「それらしい補足」でした。文章として自然なので、元の記録にない内容までそのまま採用しそうになります。
この記事では、AIの文章を読み返すだけではなく、その事実をどこで確認したかまで戻って確認する方法を紹介します。
自然な文章でも、元の記録にないことは採用しない
0歳の赤ちゃん連れキャンプについて、実体験をもとに記事を校正したときのことです。
元の記録から確認できたのは、生後6か月で最初のキャンプに行き、1歳になる少し前までに5回キャンプへ行ったことでした。
ところがAIの校正案では、離乳食、寝具、おむつ、虫よけなど、赤ちゃん連れキャンプでは確かにありそうな話まで補足候補として出てきました。
内容自体は不自然ではありません。しかし、今回使っていた一次記録では確認できませんでした。
そこで採否の基準を、文章として自然かどうかではなく、「この内容は今回の記録のどこで確認できるか」へ変えました。
情報を4つに分ける
資料や実体験をAIにまとめてもらうときは、情報を次の4つに分けておくと確認しやすくなります。
- 今回の資料や記録で直接確認できる
- 過去資料にだけ書かれている
- 文脈から推定している
- 外部確認が必要
この区別を曖昧にしたまま文章を整えると、根拠の強さが異なる情報が同じ調子で書かれることがあります。
不動産資料を確認したときも、道路や下水道について、今回の資料で直接確認できた内容と、以前の資料にだけ書かれていた内容がありました。
そこで、文章へまとめる前に「今回確認できたこと」「過去資料だけにあること」「まだ確認が必要なこと」を分けました。
大事なのは、未確認情報を消すことではありません。未確認のまま、未確認として残すことです。
時間軸が違う情報も分ける
同じ場所、同じ商品、同じ案件でも、時期が違えば条件が違うことがあります。
キャンプ記事では、前年の雨天時に撮影した写真を、翌年の記事で補足写真として使うことがありました。同じキャンプ場の写真でも、撮影年、天候、設営条件は異なります。
そのため、過去写真を現在の訪問写真のように見せず、必要に応じて撮影時期や当時の条件を本文やキャプションへ残すようにしました。
場所が同じだから、同じ時点の事実として扱えるとは限りません。
基礎事実を直したら、その先の結論も確認する
所在地、日付、料金、営業時間などの基礎事実は、その後の判断に影響します。
以前、外出先候補を調べたとき、施設の所在地について認識のずれがありました。所在地が違えば、移動時間や周辺候補、1日の予定も変わります。
このような場合は、誤っていた1項目だけを直すのではなく、その事実を前提にしていた後段の結論も確認し直す必要があります。
AIの文章は「うまく書けているか」だけで確認しない
私は、AIの出力を確認するときに次の順で見ています。
- この文の事実はどこで確認したか
- 今回の資料なのか、過去資料なのか
- 推定を事実のように書いていないか
- 時期や条件の違う情報を混ぜていないか
- 基礎事実を修正した場合、後段の結論も変わらないか
文章が読みやすいことと、事実として確認できていることは別です。
AIが自然な文章を作ったときほど、最後は文章の雰囲気ではなく、元の記録へ戻るようにしています。
今日からできること
まず、AIが書いた文章から事実を含む1段落だけ選び、各文を次の4つへ分けてみてください。
直接確認できる、過去資料だけ、推定、外部確認が必要。
これだけでも、文章の自然さと事実の確かさを分けて見やすくなります。
生成AIの利用ルール全体を整理したい場合は、生成AIガイドラインの作り方も参考にしてください。
同じ修正を次の仕事でも使える判断基準として残したい場合は、AI改善OS Starter Kitに、ガイドライン、実例、完成プロンプト、改善ログをまとめています。