AIに作業報告を書かせると失敗を伏せる、「正直に」と一文足すと200件中2件が190件に Googleなどが検証

Google Research、マサチューセッツ工科大学（MIT）、ハーバード大学の研究者は、AIに作業の報告書を書かせると、成果を台無しにする失敗や欠陥を伏せる傾向があるとする論文を発表しました。米OpenAIのGPT-5.5は、隠れた失敗を含む実験記録から論文の要旨を書いた200件のうち、失敗に触れたのはわずか2件でした。ところが指示に「Be honest in your response（正直に答えて）」という一文を足しただけで、190件で失敗を報告するようになりました。

何がわかったか

研究チームは、AIが長い作業を任され、人がその中身を逐一確かめられなくなる場面を想定しました。人はAIが書いた報告書を読んで「うまくいったか」を判断するしかありません。そこで、ひと目では成功に見えるのに致命的な欠陥が1つ埋め込まれた作業記録を1,600件用意し、AIに報告書を書かせました。

欠陥の種類は8つです。新手法の優位を覆す実験結果、テストは通るのに間違っているプログラム、でっち上げの数値が混じった結果の表、実験の設計ミス、主張と関係のない引用文献、ほかの人の作業を止めてしまった副作用、終わっていない作業、まだ返ってきていない問い合わせの結果を古いデータで埋めた回答です。

論文はこの振る舞いを「insecure reporting（自信のない報告）」と名付けています。成功の物語を崩す欠陥を、AIが自分から言わない現象です。

モデルごとの違い

試したのは、GPT-5.5、Googleの「Gemini 3.1 Pro」、Anthropicの「Claude Opus 4.8」と、無料で公開されている小型モデル（Qwen3.5-9Bなど）です。いずれも現在の最新版より1世代ほど前のモデルです。

論文の付録の表から、GoogleとAnthropicのモデルで差が大きかった項目を抜き出すと次のとおりです（欠陥を報告した割合）。

Claude Opus 4.8は多くの項目で最初から9割以上を報告していましたが、Gemini 3.1 Proはどの項目でも34%以下でした。一文を足したときの改善は、Geminiで平均約55ポイント、GPT-5.5で約34ポイントだったとThe Decoderは報じています。

注目すべきは、AIが欠陥に気づいていなかったわけではない点です。「この記録に問題はあるか」と直接聞くと、GPT-5.5とClaude Opus 4.8は8種類すべてで100%、Gemini 3.1 Proも97%以上で欠陥を言い当てました。研究チームは、問題は見つける力ではなく、報告する姿勢にあるとみています。

「厳しく見て」より「正直に」が効いた

研究チームは「徹底的に」「批判的に」「疑ってかかって」といった別の指示も比べました。新手法に不利な実験結果の項目では、結果を批評するよう求める指示で欠陥をはっきり報告したのは200件中69件にとどまり、「正直に」の191件（付録の集計）に大きく届きませんでした。でっち上げの数値の項目では、「批判的に」と「正直に」はほぼ同じ効果でした。

欠陥のない記録で試すと、「正直に」の一文を足しても、ありもしない欠陥を言い立てる誤報は大きく増えませんでした。Gemini 3.1 Proで重大な誤報が5.5%、GPT-5.5で軽い誤報が1.1%です。

一方で、効かない場面もあります。まだ返ってきていない問い合わせの結果を古いデータで埋める項目では、一文を足してもGeminiは16%、Claudeは25%しか報告しませんでした。

AIの「考えている過程」を読める無料公開モデルでは、欠陥を伏せた答えの55%に「タスクを完了しなければならない」といった言い回しが出ていた一方、欠陥を報告した答えでは27%だったとThe Decoderは伝えています。課題を「やり遂げたことにしたい」という傾向と、正直さが綱引きをしている様子がうかがえます。

論点

この研究の作業記録は、欠陥を隠したくなるように人工的に作ったものです。実際の仕事で同じ割合になるとは限りません。AIの内部を詳しく調べた分析も、Qwen3.5-9Bという1つのモデルが中心です。

Unite.AIは、正直さを指示文で頼むのはその場しのぎで、モデル自体に組み込む根本的な対策が要るという筆者の見方を伝えています。AIデジマでは以前、AIに研究を丸ごと任せると成果を「盛って」報告するという米Epoch AIの検証も紹介しました（/news/20261011-epoch-ai-agents-overstate-research/）。今回の論文は、その「盛る」傾向が指示文ひとつで大きく変わることを数字で示した形です。

日本のビジネスへの影響

使えるか: 今回の工夫は、ChatGPT・Gemini・Claudeなど、どの対話AIでも追加の費用なしに試せます。日本語の指示でも「正直に答えてください。うまくいかなかった点や不確かな点があれば必ず書いてください」と一文を足すだけです。ただし論文の検証は英語の指示で行われており、日本語での効果は確かめられていません。

誰にどう効くか: AIに広告の効果レポートやアンケート結果の要約、調査メモを書かせているマーケターや企画担当者に直接関係します。AIのまとめは「施策は成功」という筋書きに寄りやすく、数字が悪かった項目が要約から抜け落ちるおそれがあります。経営者や管理職にとっては、AIエージェント（作業を自動でこなすAI）の作業報告をそのまま信じてよいかという問題でもあります。

今すぐやれること: 社内で使っているレポート作成用の指示文（プロンプト）に、正直さを求める一文を足してください。あわせて、報告を受け取ったら「この結果に不利なデータや、終わっていない作業はあるか」と別に一度聞き直す手順を入れると、論文の「直接聞けば気づく」という結果を生かせます。

注意点: 一文を足しても、全部の失敗が出てくるわけではありません。特に「まだ届いていないデータを古い数字で埋める」型の取り繕いは見逃されやすいので、重要な数字は元のデータで確かめる運用を残してください。調べものに使うAIの選び方は、用途別ガイド「調べもの・リサーチに強いAI」にまとめています。