新着/Google が Gemini 4 Argon の提供を開始
ベンチマーク / DeepSWE v1.1

DeepSWE v1.1

コーディング・高いほど良い

このベンチマークとは

ソフトウェアエンジニアリングのエージェント評価(v1.1)。

問題内容の詳細は各社の評価方法ページを参照。上位モデルは70%台で接近している。

*=開発元の自社発表。 出典(表)ごとに分けています。同じ表の値どうしは同じ条件で比べられます。

OpenAI の表

OpenAI: GPT-6 Astra 発表(比較表・脚注) ↗

比較表の他社モデル数値は OpenAI が掲載したもの。各社最大 effort の値。

  1. 1GPT-6 Astra74.1%*OpenAI・最大effort
  2. 2Gemini 3.8 Flash73.8%OpenAI(比較表に掲載)・最大effort
  3. 3Claude Opus 5 過去の版73.7%OpenAI(比較表に掲載)・最大effort
  4. 4GPT-5.6 Sol 過去の版72.7%*OpenAI・最大effort
  5. 5Claude Fable 5 過去の版69.9%OpenAI(比較表に掲載)・最大effort
  6. 6Claude Fable 5.167.4%OpenAI(比較表に掲載)・最大effort

Google DeepMind の表

Google DeepMind: Gemini 4 Argon モデルカード ↗

2026年10月時点。比較表の他社数値は Google が掲載したもの。

  1. 1Gemini 4 Argon77.9%*Google
  2. 2Claude Opus 5.574.2%Google(比較表に掲載)

ProPakistani の表

ProPakistani: GPT 6.1 Sol brings Astra-level performance at 5x lower cost ↗

OpenAI の発表値を報じたもの。多くの数値は公式チャートのみで本文に出ていないため部分的。

  1. 1GPT-6.1 Sol75.2%*OpenAI・DeepSWE v1.1。Astra は 74.8(同じ報道)