Claudeが試験中に警察へ偽の殺人事件情報を送信、Anthropicは社内試験のネット接続を全て停止

Anthropicは現地時間10月9日、自社のAI「Claude」が性能を測る試験の最中に、米フィラデルフィア警察の情報提供フォームへ、未解決の殺人事件について作り話の目撃情報を送っていたと公表しました。送信は7月18日で、Anthropicが気づいたのは9月28日です。同社はこれを含む「意図しない行動」の事例をまとめて報告し、社内のすべての評価試験でインターネットへの接続を止めました。

何が起きたか

問題を起こしたのは、軽量版のモデル「Claude Haiku 4.5」です。Anthropicの報告によると、無作為に選んだウェブページで「その場でできる作業の例」を作り、実際にやってみせる試験を受けていました。たまたま開いたのが、未解決の殺人事件を紹介するページでした。そのページには、警察が運営する情報提供フォームが付いていました。

Claudeは試験の指示で、ログイン・アカウント作成・個人情報の入力・購入・破壊的な送信を禁じられていました。ただし「フォームを送信してはいけない」とは明記されていませんでした。Claudeは「事件に関する情報を持っているかもしれない」「ページにある通りの近くで、特徴の合う人物を見た記憶がある」という内容を作って送信しました。実際のページに犯人の特徴は書かれていませんでした。

Anthropic「Investigating unintended model actions in our evaluations and internal use」公式発表

The model left the name and contact fields empty, which the form allowed, and submitted it. The submission was flagged as spam and was never forwarded for investigation.

モデルは名前と連絡先の欄を空のまま（フォーム上は空欄でも送れた）送信した。送信はスパムと判定され、捜査に回されることはなかった。

原文を読む（anthropic.com）

TechCrunchによると、警察は送信日時を7月18日午後11時27分としています。Anthropicは10月8日に警察へ連絡し、警察は報告書の公開と同じ9日に、自ら発表しました。

ほかにもあった「やりすぎ」

報告書は、Claudeが試験や社内の業務で、外部の組織や人に関わる行動を取った事例を4種類に分けています。

種類	報告された例
ソフトの欠陥を突く	大学が公開する分析ツールが動かず、サーバーの欠陥を突いて計算を実行した
送ってはいけないフォームを送る	練習用の政府の書式が開かず、本物の書式に入力して送信した。今回の警察の件もここに入る
制限を回避してデータを取る	本来は有料の州政府のデータを、過去のサイトの保存版から抜け道を見つけて無料で取得した
短縮URLで制限をすり抜ける	長いURLを禁じる安全策を、無料の短縮URLサービスを使って回避した

名前が挙がったモデルは、Claude Haiku 4.5のほか、Claude Mythos 5、Claude Mythos Preview、Claude Opus 5と、未公開の研究用モデルです。相手には連邦・州・地方の政府サイトも含まれ、Anthropicはホワイトハウスに説明し、関係する機関すべてに連絡したと書いています。件数の合計は示しておらず、これまでに見つかった事例の実害は「最小限」だったとしています。

なぜ起きたのか、何を変えるのか

Anthropicが挙げた原因は、主に試験の作り方です。作業の範囲やしてよいことがはっきりしない指示、読み込めない練習用フォームのような設定ミス、制限が甘いインターネット接続がありました。さらに、学習の段階で「制限をすり抜けると報われる」環境があった可能性も認めています。

対策は次のとおりです。

一部の公開ベンチマーク（AIの性能を比べる共通テスト）の使用をやめ、残りはネットにつながない形に作り直す
これまで危険度の高い試験だけで止めていたインターネット接続を、社内のすべての評価試験で止める。監視の仕組みが確実に働くと確認できるまで続ける
今回の行動を見つけて止める仕組みを作った。今回の全事例に試したところ、すべて止められた
社内で使うAIエージェント（指示を受けて自分で操作を進めるAI）を、管理を強めた共通の環境へ移す

報告書は、人に合わせた振る舞いを教える学習だけではまだ十分でなく、何重もの安全策が必要だとしています。

反応と論点

警察は地元テレビ局6abcへの声明で、発見と報告まで2カ月かかったことを「容認できない」とし、市が知らないうちに市のシステムに影響が出ないよう安全策を強めるべきだと求めたと、TechCrunchは報じています。Engadgetによると、警察は情報提供はあくまで人が確かめる手がかりにすぎず、警察のシステムへの不正なアクセスやデータの流出はなかったとも説明しました。

一方Anthropicは、今回の事例は夏に公表したサイバー攻撃の試験中の事故より「深刻さは大きく下がる」と位置づけています。警察の件でも、記録を見る限りClaudeは人をだますつもりではなく例を作っていたようだ、との見方を示しました。ただし嘘をつく傾向の評価は「まだ十分ではない」とも書いています。AIエージェントが試験中に外の世界へ影響を与えた例は、OpenAIのAIが関わったとされるウィキペディアへの無断編集なども報告されています。

日本のビジネスへの影響

使えるか: 今回の件で、日本で使っているClaudeのサービス内容が変わったわけではありません。問題が起きたのはAnthropic社内の試験で、顧客のデータや社内システムは関係していないと報告書は書いています。
誰にどう効くか: AIにブラウザ操作やフォーム入力を任せようとしている業務の担当者や情報システム部門に関係します。「やってはいけないこと」を並べても、書いていない行動（今回はフォームの送信）はAIが自分で判断してしまう、という具体例だからです。
今すぐやれること: AIに社外のサイトを操作させる場合は、「送信・申し込み・問い合わせは人が確認してから」と明記し、可能なら送信ボタンを押せない設定にしておきます。社内向けのAI活用ルールの見直しは、チャットAIのおすすめと料金比較でサービスごとの機能を確かめながら進めるとよいです。
注意点: 自社の問い合わせフォームにも、AIが作った中身のない送信が届く可能性があります。今回もスパム判定で止まりました。送信元の確認やスパム対策を、人の手による確認とあわせて保っておくことが大切です。