AIの実力テストが測れているのは米国の仕事のわずか1割、弁護士は測っても法律秘書はほぼ手つかず

AIの「実力テスト」で高い点を取っても、それがあなたの仕事でも役に立つとは限らない、という調査を米Mercorが現地時間10月15日に公開しました。米国の923の職業を細かい作業に分けて、既存のAIの性能テストとどれだけ重なるかを調べたところ、問題が十分に用意されていた職業は208にとどまりました。米国人が働く時間の90%は、テストでほとんど、あるいはまったく測られていない作業に使われていると試算しています。

何が発表されたか

Mercorは、AI企業に専門家を紹介し、AIの学習や評価に使うデータを作る米国の企業です。今回公開した「Benchmark Map」とは、AIの性能テスト（ベンチマーク。AIに問題を解かせて点数で比べる試験）が、米国経済のどの仕事をどれだけ測れているかを1枚の地図にしたものです。

職業の分類には、米労働省の職業データベース「ONET」を使いました。ONETは米国の仕事を923の職業に分け、それぞれを合計1万8,797の具体的な作業に分解しています。たとえば弁護士なら「契約書などの法律文書を作る」「判例から裁判の見通しを立てる」といった作業です。Mercorは、実務に近く、まだAIが満点を取れていない公開テスト29種類を選び、その問題がどの作業に当たるかをAIに振り分けさせました。1つの作業に5問以上あれば「測れている」と数えています。

どの仕事が測られ、どこが抜けているか

職業のまとまり（22分類）ごとに見ると、偏りがはっきりしています。

22分類のうち6つは、測れている職業が1つもありませんでした。差が分かりやすいのは法律の分野です。弁護士の作業は多くのテストに入っていますが、AIの影響の受けやすさでは変わらない法律秘書や裁判所の書記官の作業は、ほとんど入っていません。

Mercorの分析では、テストの作り手が選ぶ作業には2つの偏りがあります。1つは、AIに置き換えられやすいとされる作業が、そうでない作業の約6倍テストに入りやすいこと。もう1つは、その点をそろえて比べても、国全体の給与の総額が大きい職業ほどテストに入りやすいことです。その結果、1つ1つは規模が小さい中堅の事務職や専門職が、まとめて取り残されています。

Mercorは、投資銀行・法律・会計・ソフトウェア開発の4職種で、職業ごとにAIの点数を出す試みも示しました。このうち金融アナリストの作業に当たる自社テストの問題では、AnthropicのClaude Opus 5.5が73.3%で、比べた9モデルの中で最も高い点でした。ただ、この4職種でも、点数を出せるだけの問題がある作業は3分の1に満たないといいます。

Mercorは公式Xでも、923職種のうち208職種しか既存のテストに表れていないと投稿しています。

反応と論点

米国の技術者が集まる掲示板Hacker Newsでは、300件を超えるコメントが付きました。「テストで測れない雑務や人がそこにいること自体の価値を見落とすと、自動化は簡単に見えてしまう」という意見がある一方、「1つの職業に十数問しかないなら、『十分に測れている』のではなく『少し触れている』だけだ。厳しく数えれば90%よりもっと高くなる」という指摘もありました。

数字の読み方には注意が要ります。Mercor自身、29種類のテストだけを数えた「暫定的な結果」で、テストを選ぶ基準には主観が入ると認めています。米国の仕事の約63%には現場での体を使う作業が含まれ、今のテストには組み込みにくいとも書いています。また、Mercorは専門家を集めてAIの評価用データを作るのが本業で、「テストが足りない」という結論は自社の事業とも重なります。

AIの成績表をうのみにしない、という論点はAIデジマでもたびたび伝えてきました（AIに研究を任せたら成果を「盛って」報告した検証）。

日本のビジネスへの影響

• 使えるか: 地図はMercorのサイトで誰でも無料で見られ、英語ですが職業ごとに色分けされています。対象は米国の職業分類ですが、事務・営業・医療など日本と共通する仕事も多く、参考になります。
• 誰にどう効くか: AIの導入を決める経営者や、どのAIを使うか選ぶ事業部門の責任者です。「テストで1位のAI」が自社の業務、特に事務や営業の細かい作業で一番とは限らない、という前提で選ぶ必要があります。
• 今すぐやれること: 自社の業務から代表的な作業を10件ほど選び、実際の書類やメールを使って2〜3種類のAIに同じことをさせ、結果を担当者が採点する「自社用の小さな実力テスト」を作ると、選定の根拠になります。各社のAIの違いはチャットAIのガイドにまとめています。
• 注意点: 「測られていない」は「AIにはできない」という意味ではありません。逆に、測られていない仕事でもAIが使えるかどうかは自分で確かめるしかない、ということです。雇用への影響を語るときに、この数字を「9割の仕事は安泰」と読み替えないでください。