「生成AIは嘘をつく」を前提に組む ハルシネーション対策と業務設計
「生成AIって、平気で嘘つくんでしょ?」
AI導入のご相談で、この一言はほぼ確実に出てきます。そしてこの一言への向き合い方で、会社は2つに分かれます。「だからうちは使わない」と導入自体を止めてしまう会社と、「まあ大丈夫でしょ」と気にせず使って、いつか事故る会社。
正直なところ、どちらも間違いです。正解は「嘘をつく前提で、業務の側を設計する」。今日はその設計術の話をします。
ハルシネーションは故障ではなく、仕組みに由来する性質
まず敵を知るところから。AIが事実と違う内容を、それらしく自信満々に答えてしまう現象をハルシネーションと呼びます(用語集でも取り上げた頻出語です)。
大事なのは、これが故障やバグではなく、仕組みに由来する性質だということです。生成AIの中身であるLLM(大規模言語モデル)は、「次に来る言葉」を確率で予測する機械です。文法や定型的なパターンは大量のデータからきれいに学習できるので、誤字や文法ミスはほとんどしません。ところが、たとえば特定の人物の生年月日のような「パターンでは予測できない個別の事実」は、そもそも予測のしようがない。それでも言葉の続きとして、もっともらしい何かを出力してしまうのです。
OpenAIは2025年9月に公開した研究記事で、もう一歩踏み込んだ説明をしています。AIの性能を測る一般的なテストは正解率だけで採点されるため、「分かりません」と答えると0点、当てずっぽうでも当たれば得点になる。つまり不確かなときに正直に棄権するより、自信満々に推測する方が報われる採点になっているというのです。テスト対策で当て推量を覚えた受験生のようなもの、と考えると腑に落ちます。
同じ記事でOpenAIは、正解率が100%に達することは決してない、とも書いています。世の中には本質的に答えが決められない質問があるからです。ハルシネーションを完全にゼロにする、という前提で計画を立ててはいけない理由がここにあります。
間違いの出やすさは、頼む仕事で全然違う
では全部信用できないのかというと、そうではありません。ハルシネーションには出やすい仕事と出にくい仕事がはっきりあります。ここの地図を持つことが、対策の第一歩です。リスクの高低を一覧にすると、こうなります。
| 任せる仕事 | ハルシネーションリスク | 理由 |
|---|---|---|
| 最新情報の調査 | 高い | 学習データにない期間の話。出典確認が必須 |
| 固有名詞・数字の確認 | 高い | ピンポイントの事実は推測が混ざりやすい |
| 出典・参考文献の提示 | 高い | 実在しない論文名が出てくる定番パターン |
| ニッチな分野の詳細 | 高い | データが少ないほど当て推量になる |
| 渡した文章の要約 | 低め | 原文と照合してすぐ確かめられる |
| 言い換え・翻訳 | 低め | 正解がひとつではない |
| たたき台・構成案の作成 | 低め | 人間が採否を判断する前提の仕事 |
| 分類・整理 | 低め | 元データと突き合わせできる |
見比べると軸が見えてきます。AIの記憶から知識を取り出させる仕事は危なく、手元の材料を渡して加工させる仕事は比較的安全。同じAIでも、頼み方でリスクがまるで違うのです。
対策の本丸は「検証コストの低い業務から任せる」
その上で、いちばんお伝えしたい設計術がこれです。任せる業務を「間違えたら困るか」ではなく、間違いにすぐ気づけるかで選んでください。
私たちはこれを検証コストと呼んでいます。たとえば、たたき台の作成は検証コストが最低です。出てきたものを見て、使えるかどうかを人間がその場で判断するだけ。原文が手元にある要約も安い。読み比べれば済みます。一方で、知らない分野の事実調査を丸投げして、その結果を検証なしで使うのは検証コストが最悪です。間違いに気づく手段が、そもそもありません。
AI活用レベルの見取り図で書いた「壁打ちから始める」という順番は、実はこの検証コストの話と同じものです。検証が安い業務から任せて、AIの癖と自社の許容度がわかってきたら、少しずつ検証が重い業務に広げる。この順番なら、ハルシネーションが起きても業務は壊れません。
もうひとつ、出力の形を工夫するだけでも検証は楽になります。「結論だけでなく、根拠にした部分を原文のまま引用して」「判断に迷った箇所は迷ったと書いて」と頼んでおくと、人間のチェックが目視の突き合わせで済むようになります。
道具と指示でさらに減らす 4つの実務テク
業務の選び方が本丸だとして、道具と指示でも発生率は下げられます。現場でよく使う4つを挙げます。
- 資料に根ざすツールを使う: Gemini Notebook(旧NotebookLM)のように、渡した資料を主な根拠に出典つきで答えるツールは、社内ナレッジの参照に向きます。以前の解説で書いたとおり、重要な判断のときは出典クリックで原文確認までをセットにします
- 出典つき機能を使い、出典を実際に開く: ディープリサーチ系の機能は出典リンクを添えてきますが、リンクがあること自体は正しさの証明になりません。重要な数字は出典を開いて確認する。ここは省略できません
- 「不確かなら不確かと言って」と指示する: 先ほどのOpenAIの研究が示すとおり、AIは黙って推測しがちです。「わからない場合はわからないと答えて」「推測の場合は推測と明記して」と指示に入れるだけで、正直に棄権してくれる場面が増えます。完全ではありませんが、費用ゼロで今日からできます
- 別のAIに検証させる: 重要な文書は、作らせたAIとは別のAIに「この文章の事実関係で怪しい箇所を指摘して」とチェックさせる二段構えが有効です。人間のダブルチェックと同じ発想です。ただし、別AIチェックも最終確認ではありません。重要な数字・法務・医療・契約・公開情報は、必ず一次情報や原文に戻って確認します
それでも間違える前提の「受け皿」を敷く
ここまでやっても、間違いは起きます。だから最後は受け皿です。
- 社外に出るものは必ず人の目を通す: 見積もり、契約関連、顧客への説明文。ここは例外なしのルールにします
- 重要な判断はAIに完結させない: AIは判断材料を揃える係、決めるのは人間。この線引きを崩さない
- 社内ルールに1行入れる: 社内ガイドラインに「AIの出力はたたき台として扱い、事実確認は利用者が行う」という1行があるだけで、全員の前提が揃います
冷静に考えると、人間の仕事も昔からこう設計されてきました。新人の作った資料は上司が確認するし、請求書は二重チェックする。人が間違える前提の仕組みは、どの会社にもすでにあるはずです。AIだけを特別扱いして「一度も間違えないなら使う」という基準を課すのは、フェアではないというのが私たちの見方です。
まとめ: 間違えても壊れない業務から使う
ハルシネーションは、現在の生成AIから切り離せない性質です。でも、だから使えないのではありません。「嘘をつくから使わない」でも「気にせず使う」でもなく、間違えられても壊れない業務から使い始めて、検証の仕組みごと運用に組み込む。これが現実解です。
すぐ試すなら、自社でAIに任せたい業務を書き出して、「間違いにすぐ気づけるか?」で並べ替えてみてください。上に来た業務が、明日から安心して任せられる領域です。そしてその1つ目は、おそらく「たたき台づくり」のはずです。