ベンチマーク / Terminal-Bench 4.0
Terminal-Bench 4.0
コーディング・高いほど良い
このベンチマークとは
ターミナル上で、ソフトウェア・機械学習・科学・運用・セキュリティ・ハードウェア・メディアなど複雑な多段階作業をやり切れるかを測る評価。
実際にコマンドを実行して作業を完了できるか。エージェントのハーネス(実行環境)や試行回数で結果が変わり、標準誤差は±2〜3pt程度。数pt差は誤差の範囲。
*=開発元の自社発表。 出典(表)ごとに分けています。同じ表の値どうしは同じ条件で比べられます。
Anthropic の表
Anthropic: Introducing Claude Opus 5.5 ↗Opus 5.5 は max effort(Terminal-Bench は xhigh)。本番セーフガード有効のため一部で不利。
- 1
Claude Opus 5.566.4%*Anthropic・xhigh
- 2
Claude Fable 5.155.8%*Anthropic・max
- 3
Claude Opus 5 過去の版52.3%*Anthropic・max
OpenAI の表
OpenAI: GPT-6 Astra 発表(比較表・脚注) ↗比較表の他社モデル数値は OpenAI が掲載したもの。各社最大 effort の値。
- 1
GPT-6 Astra57.9%*OpenAI・最大effort・Anthropic表では high effort
- 2
Claude Fable 5.155.8%OpenAI(比較表に掲載)・最大effort
- 3
Claude Opus 5 過去の版52.6%OpenAI(比較表に掲載)・最大effort
- 4
Claude Fable 5 過去の版44.5%OpenAI(比較表に掲載)・最大effort
- 5
GPT-5.6 Sol 過去の版37.3%*OpenAI・最大effort
- 6
Gemini 3.8 Flash19.1%OpenAI(比較表に掲載)・最大effort
Artificial Analysis の表
Artificial Analysis: Intelligence Index v4.3 発表 ↗2026-09-07 の発表時点の数値。最新値はリーダーボードを参照。
- 1
GPT-6 Astra59.1%Artificial Analysis・max・66タスク×3回の平均 pass@1
- 2
Claude Fable 5.152%Artificial Analysis・max(フォールバックあり)
- 3
Claude Opus 5 過去の版49%Artificial Analysis・max
- 4
GPT-5.6 Sol 過去の版39.9%Artificial Analysis・max
Google DeepMind の表
Google DeepMind: Gemini 4 Argon モデルカード ↗2026年10月時点。比較表の他社数値は Google が掲載したもの。
- 1
GPT-6 Astra58.2%Google(比較表に掲載)・Google の測定
- 2
Claude Fable 5.157.9%Google(比較表に掲載)・Google の測定
- 3
Gemini 4 Argon57.4%*Google
Anthropic の発表表を二次サイトが転載したもの。公式発表での再確認が必要。Terminal-Bench は max effort。
- 1
Claude Sonnet 5.570.6%*Anthropic・max