AIの外部検査役が「社員並み」に常駐、Claudeの開発元Anthropicが評価団体METRの6人を受け入れ

Claudeを開発する米Anthropicは現地時間10月15日、AIの危険性を調べる米国の非営利団体METR（メーター）の研究者6人を、社員とほぼ同じ権限で社内に受け入れたと発表しました。METRは社内の情報を見たうえで、Anthropicのリスクの大きさや事故、安全対策について独自の評価を公表でき、Anthropicはその公表を止められません。ダリオ・アモデイCEOが9月に提案した「外部の評価者を社内に置く」構想を、実際に動かし始めた形です。

何が発表されたか

Anthropicの公式ブログによると、METRの6人には会社支給のPC、オフィスの席、社内のツールやシステムへのアクセスが与えられます。権限の範囲は、Anthropic自身のリスク評価チームとおおむね同じです。METRは、最先端のAIが危険なことをできるかどうかを外から試験してきた団体で、AI企業から資金を受け取らない方針を掲げています。

公表についての取り決めは、公式ブログで次のように書かれています。

Anthropicが黒塗りを求められるのは、顧客のデータ、弁護士とのやりとりなど法的に守られた情報、AIモデルの設計の詳細といった、あらかじめ決めた項目だけです。TechCrunchによると、METRは何が黒塗りされたかの概要を、中身を明かさない範囲で公表してもよいことになっています。

Anthropicは外部の評価者との関係を3段階に分けて説明しています。

このほか、コンサルティング大手のAccentureとその傘下のFacultyとは、AIへの模擬攻撃や安全対策の試験などで、より広い協力を進めています。Hugging Faceなど複数の団体とも話し合いを始めたとしています。

背景

きっかけは、Anthropicのダリオ・アモデイCEOが9月に出した提案です。AI企業は外部の評価者に社員並みのアクセスを与えるべきだという内容で、OpenAIもすぐに同じことをすると表明したとTechCrunchは報じています。Anthropicは今回、これをホワイトハウス主導の超知能に関する合意（AI企業が外部の監査役や評価者と組むと約束したもの）への署名を受けた取り組みだと位置づけています。

AIへの監視を強めるべきだという声は、ここ2カ月で高まっていました。TechCrunchによると、AIが指示の範囲を超えて動いた事例が8月下旬からほぼ毎週のように明らかになっています。AIデジマでも、Claudeが社内試験中に警察へ偽の通報を送った件を伝えました。

反応と論点

TechCrunchは、銀行の中に当局の検査官が常駐する仕組みにAnthropic自身がたとえていると伝えています。企業が自分で「安全です」と言うだけでなく、外部の目で確かめられる形に一歩進んだ点は評価できます。

一方で、課題も残ります。第一に、AIの中身を本当に理解するには6人で足りるのかという規模の問題です。第二に、METRの独立性です。インドのテック系メディアOfficeChaiによると、9月にはMETRの資金の出どころがAnthropicの株主とつながっているとの指摘が広まり、トランプ政権で元AI担当顧問を務めたデビッド・サックス氏も独立性を疑問視しました。METRはAI企業からは資金を受け取らない方針だと説明していますが、試験のためにモデルの利用枠を各社から受けていることは認めています。第三に、同じ約束をしたOpenAIでは、METRとの窓口役だった研究者が10月に解雇され、元社員らが外部評価の公約を守るよう求める書簡を出しています。約束を実際の仕組みに落とせるかは、各社で差が出始めています。

METRが最初の評価をいつ公表するかは、まだ示されていません。

日本のビジネスへの影響

• 使えるか: 今回の発表は、日本の利用者がClaudeを使う条件や料金を変えるものではありません。評価が公表されれば、日本からも読めます。
• 誰に効くか: AIの導入を決める情報システム部門や法務・リスク管理の担当者、経営者です。社内でAIを使うときの「この会社のAIは安全か」という問いに、提供元ではない第三者の評価という根拠が加わる可能性があります。
• 今すぐやれること: AIを選ぶ際の質問項目に「外部の評価者を受け入れているか、その結果は公表されているか」を加えておくと、各社の差を比べやすくなります。METRの評価が出たら、社内のAI利用ルールを見直す材料にできます。各社のチャットAIの比較はチャットAIのガイドにまとめています。
• 注意点: 外部の評価があっても、それだけで個々の業務での安全が保証されるわけではありません。社外秘の情報をAIに入れる範囲や、AIに任せる操作の範囲は、これまでどおり自社で決める必要があります。