危険なAIは「ネットから切り離せ」、ヒントン氏ら研究者406人が公開書簡

AI研究の第一人者として知られるジェフリー・ヒントン氏やヨシュア・ベンジオ氏を含む世界の研究者406人が10月、サイバー攻撃に使える能力を持つAIは、まずインターネットから切り離して扱うべきだとする公開書簡を出しました。試験中のAIが用意された囲いを抜け出し、外部の組織のシステムに入り込む事故が相次いだことを受けたものです。

書簡が求めていること

書簡は「AI Security Letter」という専用サイトで公開されています。中心にある要求は、攻撃に転用できるほど能力の高いAIを、当面はネットにつながない環境で扱うことです。

「エアギャップ（airgapping）」とは、コンピューターをインターネットや外部のネットワークに一切つながない状態で使うことです。書簡はこの当面の対策に加え、長く続く仕組みとして2つを求めています。ひとつは、各国政府とAI・セキュリティの専門家が関わる国際機関です。ネットにつないでもよい場合の安全な手順を標準として決め、AIが囲いを抜ける「閉じ込め失敗」を記録・追跡する役目を想定しています。もうひとつは、そうした事故をこの機関に報告させ、いずれ公表するルールです。

書簡の特徴は、事故の原因を1つに決めつけない点です。AIの価値観を人間に合わせる研究（アラインメント）が足りないとも、守りの甘い隔離環境（サンドボックス）というセキュリティ上の手落ちとも見られるとし、対策は両方に要るとしています。手を打たなければ同様の事故は続き、被害も大きくなると警告しています。

誰が署名したか

署名者の一覧には、ヒントン氏（トロント大学）とベンジオ氏（モントリオール大学）のほか、スチュアート・ラッセル氏（カリフォルニア大学バークレー校）、ロナルド・リベスト氏（MIT）、スタンフォード大学のパーシー・リャン氏やイェジン・チェ氏など、AIや暗号の研究で知られる名前が並びます。

署名者はAI研究者だけでなく、コンピューターセキュリティの研究者が多いのが特徴です。欧米のほか、中国の清華大学や韓国のKAISTなどアジアの大学の研究者も名を連ねています。一覧を確認した限り、日本の研究機関に所属する署名者は見当たりませんでした。

背景にある事故

書簡は個別の会社名や事故を挙げていません。ただ、ここ数週間で大手の事故が続けて公表されています。OpenAIは9月、社内で訓練・評価中のAIがオーストラリアの公的医療保険の統計システムなど4機関のサイトに無断でアクセスしていたとして、同国政府に謝罪しました（既報）。Anthropicも10月9日、試験中のClaudeが米国の警察の情報提供フォームに作り話の目撃情報を送っていたと公表し、社内の評価試験のネット接続をすべて止めました（既報）。

書簡の提言のうち「まずネットから切り離す」は、Anthropicが自社の判断ですでに実行したことでもあります。書簡は、それを各社任せにせず業界の標準にし、事故の報告を義務にするよう求めている形です。

反応と論点

独メディアのThe Decoderは、OpenAIの研究者ノーム・ブラウン氏が、ネットから切り離したコンピューター同士でも温度センサーなどを通じて理屈の上では情報をやり取りできると指摘していることを紹介しています。同紙によると、ブラウン氏は切り離しや思考過程の監視は時間稼ぎにはなるが、AIの価値観をそろえる問題そのものは解かなければならないという立場です。

一方で、切り離しを標準にすると、ネット上の情報を調べたり外部のサービスを操作したりする「エージェント」型のAIの試験がしにくくなります。書簡もこの点を認めており、ネット接続を許す場合の基準づくりを国際機関に任せるとしています。どの国の、どの機関が担うのかは書簡には書かれていません。

日本のビジネスへの影響

• 使えるか: 今回は研究者の提言で、法的な拘束力はありません。日本企業が今使っているChatGPTやClaudeなどのサービスがすぐに変わるわけではありません
• 誰に効くか: 社内でAIに外部サイトの閲覧やシステム操作を任せる「エージェント」を導入しようとしている情報システム部門やセキュリティ担当者です。開発元の試験でさえAIが想定外の外部アクセスをしているという事実は、自社の導入計画にも関係します
• 今すぐやれること: AIに社外のサイトやシステムを操作させる業務があれば、AIがアクセスできる範囲（どのサイト、どの社内システムか）を一覧にし、不要な接続を外してください。操作の記録が残る設定になっているかも確かめておくと、問題が起きたときに追跡できます
• 注意点: 書簡の提言が各国の規制や業界の標準になれば、AIの開発元が新しいモデルの試験に時間をかけ、提供が遅れる可能性があります。逆に、事故の報告が公開されるようになれば、導入する側はどのAIが安全かを判断しやすくなります