政府がAIを止められるのは「死傷50人か被害10億ドル」の恐れがある時だけ、Claudeの開発元が米議会に法案

対話AI「Claude」を開発する米Anthropicが、AIの安全規制の法案の草案を米議会の議員に非公開で示したと、米Politicoが現地時間10月16日に報じました。草案では、政府がAIの公開や利用を止められるのは、10億ドルを超える損害か、50人を超える死者・重傷者が出る恐れが差し迫っている場合に限られます。

何が起きたか

Politicoは関係者3人の話として、Anthropicの担当者が議会で草案を示したと伝えました。草案はまだ公表されておらず、どの議員が提出するかもわかっていません。以下の中身は、Politicoの報道を受けた複数の媒体の記事で一致した部分です。

報道によると、政府が介入できる危険は3種類に絞られています。生物兵器の開発や拡散、サイバー攻撃、そしてAIが開発元の安全管理をすり抜けることです。そのうえで、10億ドル超の損害か50人超の死傷につながる「予見可能で差し迫った」危険があることが条件になります。

止めるまでの手順は次のとおりだと報じられています。

• 米商務省に登録した独立の評価機関が、AIの開発企業とそのモデルを定期的に検査する。開発企業が検査料を払ってもよいが、結果と報酬を結びつけてはいけない
• 評価機関が条件に当たる危険を見つけたら、検査を終えてから72時間以内に商務省に知らせる
• 商務省は自分では止められず、首都ワシントンの連邦地方裁判所の判事に、公開や利用の停止を命じるよう求める
• 商務省以外の連邦政府の機関は、AIの開発や公開、社内での利用を独自に止められない

インドのBusiness Todayは、開発企業に安全の方針づくり、新しいモデルごとの報告書の公開、内部告発者の保護、重大な事故の商務省への報告を義務づける内容も含まれると報じています。

6月に公表した方針を法案の形に

Anthropicの広報担当者はMother Jonesなどに対し、草案は同社が6月から連邦と州の議員に働きかけてきた「Advanced AI Framework」の提案を形にしたものだと説明しました。そのうえで「議会が取り組むべき妥当な政策だ」と述べています。

この方針の文書は、AIを作る企業に課すべき義務と、社会の備えへの投資の2本立てです。対象は、学習に大量の計算を使ったモデルを持ち、AIの売上が年5億ドルを超えるか研究開発に年10億ドル超を使う大手に絞っています。外部の検査が必要な理由については、こう書いています。

文書は、規制する側の権限に歯止めをかけることも求めています。役所が自分で罰を科すのではなく、裁判所に訴えて初めて措置がとれる形を選択肢として挙げており、草案で商務省が判事の命令を求める仕組みはこの考え方に沿っています。なお、Anthropicは安全性の外部検査を受け入れる取り組みも進めており、評価団体METRの担当者6人を社内に常駐させています（AIの外部検査役が「社員並み」に常駐）。

反応と論点

批判の中心は、介入の条件が厳しすぎる点です。米Mother Jonesは、10億ドル・50人という基準は高すぎると批判し、AIを使った詐欺のような被害は対象に入らないと指摘しました。業界の自主規制が過去にうまくいかなかった例として、2007〜08年の金融危機も挙げています。

州の規制との関係も論点です。Business TodayやInteresting Engineeringによると、草案はリスクの公表、外部の検査、重大事故の報告について、州の規則を連邦のルールで置き換える内容を含みます。一方で、Anthropicの方針の文書には、次の一文があります。

つまりAnthropicは、自社の案こそが州法を置き換えるに足る厳しい制度だという立場です。Business Todayによると、草案の文言はカリフォルニア州で成立したAI安全法「SB 53」などに似ているといいます。カリフォルニア・イリノイ・ニューヨークなどの州法を弱める動きには民主党の多くが反対しており、IT業界は州ごとにルールが違う負担を訴えています。

議会ではほかにも、超高性能AIの開発を一時止める案や、AIを監督する省を新設する案など、より強い規制を求める声があります。Mother Jonesは、Anthropicが2026年上半期に議会へのロビー活動に使った額が、2025年の1年分を上回ったとも伝えています。

日本のビジネスへの影響

• 使えるか: 今回は法案の草案で、Claudeなどのサービスや料金がすぐに変わる話ではありません。日本でのClaudeの使い方にも直接の影響はありません。
• 誰にどう効くか: AIを業務に入れる企業の経営者や法務・リスク管理の担当者に関係があります。米国でどんな条件ならAIが止められるかが決まると、米国製AIを使う日本企業にとっても「ある日突然使えなくなる」危険の範囲が見えてきます。
• 今すぐやれること: 主要業務で使うAIが1社に偏っていないかを確かめ、代わりに使えるサービスの候補を1つ決めておくと、規制や障害で止まったときに慌てずに済みます。
• 注意点: 中身は報道で伝わった草案で、議会で提出されるか、提出されても同じ形で成立するかは不明です。また、介入の基準が高いということは、詐欺への悪用のような日常的な被害は政府の停止の対象にならないということです。こうしたリスクは、使う企業の側で引き続き対策する必要があります。

Claudeを含むチャットAIの選び方と料金は、チャットAIのおすすめと料金比較にまとめています。