ThinkingBoxはAIエージェントに同じ業務を20回やらせる試験、首位のOpus 5.5でも合格は47%
Microsoftが業務エージェントの評価基盤ThinkingBoxを公開した。507の業務を各20回実行し、データベースの最終状態で採点する。1回あたりの成功率は首位のClaude Opus 5.5で67.16%、20回すべて成功した業務は47.53%だった。
出典：Hugging Face Blog（Microsoft）・arXiv・GitHub Microsoft
#ThinkingBox
ThinkingBoxに関する海外の最新ニュース1本を日本語でまとめています。公式発表・論文・海外メディアの報道をもとに、ビジネスへの影響まで解説します。