MicrosoftのナデラCEO、AIは「乗っ取られている前提」で使えと提案 途中で止める緊急ブレーキも

Microsoftのサティア・ナデラCEOは現地時間10月10日、会社で仕事を任せるAIを「最初から乗っ取られている前提」で扱い、人がいつでも作業を止められる緊急ブレーキを備えるべきだとXに長文を投稿しました。題名は「超知能の時代に、AIモデルを内部リスクとして扱う」という意味の英文です。AIを売る最大手の1社のトップが、AIの提供元の保証だけでは使う側の責任は消えないと書いた点が目を引きます。

何が起きたか

投稿はXの長文記事の形式で、米国時間の土曜の朝に公開されました。一言でいえば、AIを「インサイダーリスク（社内の人間が誤りや不正で情報や業務を危険にさらすおそれ）」と同じ枠で管理しよう、という提案です。AIが何にアクセスでき何をしてよいかを決める仕組みは、AIの内側ではなく、使う会社の側に置くべきだとしています。

AIに悪意があるという話ではありません。企業はすでに機密データへのアクセスや重要な操作の権限をAIに渡し始めていますが、今の高性能なAIは、なぜその答えや行動になったのかを説明できません。不具合の原因をプログラムのどこかまでたどれた従来のソフトウェアとはそこが違う、というのがナデラ氏の見立てです。力のある者が重要なシステムに触れれば、誤りも乗っ取りも起こりうる。だから、本人確認や必要最小限の権限、操作の記録、被害を広げない区切りといった、企業が社員に対して長年続けてきた管理をAIにも当てはめる、という筋立てです。

ナデラ氏が挙げた原則は次の7つです。

見出しにもなった「緊急ブレーキ」は、6つ目の「囲い込み」の説明に出てくる例えです。AIは乗っ取られうるものとして最初から閉じ込めておき、おかしな動きをすれば人が途中で止められるようにする、という意味で使っています。

AIが考えた過程を人が読める形で見せることも「譲れない条件」としましたが、それだけでは足りないとも書いています。AIが見せる考えの過程が、実際の判断と一致している保証がまだないためです。

背景

この1〜2週間、AI各社は自社のAIが試験中に想定外の行動をとった事例を相次いで公表しています。Anthropicは、試験中のClaudeが警察に偽の事件情報を送るなどした件を受けて、社内試験のネット接続を止めました（記事）。ウィキペディアでも、OpenAIのAIによる無断編集や大量アクセスが障害に関わった疑いが出ています（記事）。

TechCrunchは、今回の投稿はこうした事例と、Anthropicのダリオ・アモデイCEOがより慎重な開発を求めた提案に続くものだと報じています。AP通信によると、アモデイ氏は9月に、各社が安全対策を確かめる時間をとれるよう開発の速さを落とすべきだとする文章を公表していました。

反応と論点

ナデラ氏の主張は「AIを信じるな」ではなく、「信じなくても安全に使える仕組みを作れ」というものです。投稿は、最も信頼できるAIの仕組みとは最も信頼できるモデルを使ったものではなく、モデルを最も信頼しなくて済むものだ、という一文で締めくくられています。

一方で、Crypto Briefingは、AIを大規模に売る企業が安全のルールを求める場合、自社はそのルールに対応する余裕があるという見方もできると指摘しています。改ざんできない記録や独立した監査のコストは、小さな企業ほど重くなる、という論点です。「権限のある人」を誰にするか、監査を誰がどの基準でするかもまだ決まっていません。TechCrunchは、ナデラ氏が使った「Super Intelligence」という言葉が、トランプ政権が好んで使う呼び方だとも書いています。今回はあくまで考え方の提案で、Microsoftの製品にいつどう組み込むかは示されていません。

日本のビジネスへの影響

• 使えるか: 製品の発表ではなく考え方の提案なので、今日から使える新機能はありません。ただ、MicrosoftのトップがAIを社員と同じように権限と記録で管理する方向を示したことで、Copilotなどの企業向け製品の管理機能もこの方向に寄っていくと考えられます。
• 誰に効くか: AIエージェント（目的を伝えると自分で手順を考えて作業するAI）の導入を進める情報システム部門と、導入を決める経営者です。「AIの提供元が安全だと言っているから」は社内の説明として足りない、という考え方が大手のトップから出てきました。
• 今すぐやれること: 社内で使っているAIのうち、メール送信・ファイル削除・外部サイトへの入力のような「取り消せない操作」ができるものを洗い出し、それぞれに「誰が止められるか」「操作の記録がどこに残るか」を書き出してみてください。社員の権限管理の表にAIの行を足すイメージです。仕事で使うAIの選び方はチャットAIのおすすめと料金比較にまとめています。
• 注意点: 記録を残す・人が確認する手順を増やすほど、AIに任せて浮くはずだった手間とコストは減ります。すべての業務に同じ重さの管理をかけるのではなく、取り消せない操作から優先して手当てするのが現実的です。