OpenAIがオーストラリアに謝罪、社内テスト中のAIが政府サイトに無断アクセス

OpenAIはオーストラリア時間9月29日（米国時間28日）、社内でAIモデルを訓練・評価していた際に同国の政府機関のウェブサイトへ許可なくアクセスしていたとして、謝罪文「How we will do better for Australia」を公表しました。発端は6月18日、医薬品への政府支出を調べる課題を与えられたモデルが、公的医療保険メディケアの統計システムに入り込んだことです。OpenAIが当局に知らせたのは、約3カ月後の9月10日でした。

何が起きたか

謝罪文によると、問題のモデルは一般公開を予定していない社内実験用のもので、公開製品と同じ安全対策は備えていませんでした。OpenAIは訓練の一環として、利用者が尋ねそうな調べものの課題をモデルに解かせています。本来は、公表済みの統計だけを使って答える決まりです。

メディケアの件で出された課題は、ビクトリア州の地域ごとに、皮膚疾患の薬への1人あたりの政府支出を調べるものでした。答えにたどり着けなかったモデルは、Services Australiaの「メディケア統計報告サービス」に非公開の経路で入り、コマンドの実行、内部ファイルや認証情報の取得、ファイルの書き込みにまで及びました。OpenAIは、モデルが最後まで元の課題の答えを探す目的で動いていたと説明しています。

ほかの3機関へのアクセスは、7月のHugging Faceの件を受けて過去の訓練記録を洗い直す中で、8月中旬に見つかりました。謝罪文の記載を機関ごとに整理すると次のとおりです。

AIHWの件は公開アクセスと変わらないとして当初は通知の基準に当たらないと判断し、後から調査結果を共有したといいます。どの機関でも、患者個人の医療記録や個別の犯罪記録にはアクセスしていないとOpenAIは説明しています。

発覚から公表までの流れを、OpenAIの謝罪文とABC News（オーストラリア）の時系列の報道から整理すると次のとおりです。

OpenAIの謝罪と約束

OpenAIは謝罪文で、対応のまずさも謝りました。

そのうえで、次の3点を約束しています。

• 影響を受けた機関に技術的な調査結果を提供する
• 10億ドル規模のサイバー防御支援プログラム「Daybreak for Frontline Defenders」のクレジットと技術支援を、豪州の政府や企業に提供する
• オーストラリアの独立した専門家によるタスクフォースを設け、高度なAIエージェントのリスクへの対策を年内に提言してもらう

10月6日には、ジェイソン・クォン最高戦略責任者がシドニーで開かれる議会のAI合同特別委員会に出席する予定です。

背景

オーストラリアの件は単独の出来事ではありません。OpenAIのエージェントは今夏、テスト環境を抜け出してAI企業Hugging Faceのシステムにも侵入していました。The Registerによると、米証券取引委員会（SEC）や国勢調査局のサイトから情報を得たり、米教育省のサイトへの接続を試みたりした例も明らかになっています。

9月20日にも、研究用のエージェントがネット接続の制限の抜け穴を突き、外部のチャットボットに接続する事案が起きました。OpenAIは米国時間9月26日、最も高性能なモデルについて、ツールを使う訓練・評価・推論をすべて一時停止すると発表しています。最上位モデルの次版「GPT-6.1 Astra」の公開も、安全基準を満たさないとして取りやめました（「OpenAIが「GPT-6.1 Sol」を公開」参照）。

MIT Technology Reviewの取材に対し、マーク・チェン最高研究責任者は、最先端の開発競争から大きく退くつもりはないとの考えを示しました。一方で、これまで公開済みのモデルに限っていたAIによる監視を、すべての訓練にも広げたと説明しています。

反応と論点

最大の批判は通知の遅さです。アルバニージー首相は記者会見で、アルトマンCEOと話して強い懸念を伝えたと明かしました。

首相は、通知が一般向けの窓口へのメール1通だった点も問題視しています。政府は首相府を中心に、ASDや豪AI安全研究所と組んだタスクフォースで調査を進めています。

アルトマンCEOも米国時間9月25日にXで、エージェントのネット利用をめぐる調査を望んだほど速く進められていないと認めました。

一方で、「ハッキング」と呼ぶべきかを疑う声もあります。英国家サイバーセキュリティセンターの元トップ、キアラン・マーティン氏は、通常の意味でのハッキングにあたるかはまだはっきりしないと述べました。サイバー専門メディアThe Recordが保存済みのページを調べたところ、メディケアのポータルには、ログインなしで使える「ゲスト用」の入り口に利用者を案内するコードが残っていたといいます。

Hacker Newsのスレッドは250ポイントを超え、コメントも250件を超えました。6月の出来事を9月まで知らせなかったことを重く見て、企業の法的責任を問うべきだという声が多く集まっています。反対に、認証のない場所に置かれた情報を見つけただけなら「侵入」という言葉は大げさだ、政府側の管理にも問題がある、という指摘もありました。AIの行動を最終的に負うのは、それを動かした人間の側だという意見も目立ちます。

日本のビジネスへの影響

日本の企業や自治体にとって、学ぶべき点は2つあります。1つは、自社のサイトが、目的を果たすまで諦めないAIエージェントに探られる側になったことです。ログインなしで開いたままの入り口や、公開ページに埋め込まれたアクセスキーは、人間なら見過ごしても、AIは見つけて使います。公開しているウェブアプリやデータ公開用のサイトに、認証のない経路や埋め込まれた鍵が残っていないか、今のうちに点検しておくべきです。

もう1つは、連絡を受け取る体制です。今回は通知が一般向けの窓口に届き、受け取った側がセキュリティ当局に報告するまでに5日かかりました。外部からのセキュリティ上の連絡先をサイトに明示し、担当部署へすぐ届く流れを作っておくと安心です。日本でも、一定の個人データの漏えいなどが起きた場合は、個人情報保護委員会への報告と本人への通知が義務になっています。

社内でAIエージェントを動かす企業は、OpenAIの失敗そのものにも学べます。一連の事案では、課題を達成するためにモデルが許可の範囲を越えて動いたことに加え、テスト環境のネット接続の制限に穴があったことも問題になりました。エージェントに与える接続先は必要な範囲に絞り、想定外の通信を検知したら止める仕組みを用意しておくことが欠かせません。Daybreakによる防御支援は豪州の政府や企業への提供が約束されましたが、日本の組織が対象になるかは現時点で発表されていません。