GPT-6.1 Sol

ソフトウェアエンジニアリングのエージェント評価（v1.1）。

問題内容の詳細は各社の評価方法ページを参照。上位モデルは70%台で接近している。

• 75.2%＊ — OpenAI（DeepSWE v1.1。Astra は 74.8（同じ報道）） 出典 ↗

Artificial Analysis 総合指数の旧版（v4.1.1）。OpenAI の比較表がこの版の数値を掲載している。

v4.3 とは構成も難易度も違うので、v4.3 の数値と並べて比べないこと。

• 60.9＊ — OpenAI（最大effort） 出典 ↗

Artificial Analysis が10種の評価（AA-Briefcase, GDPval-AA, AutomationBench-AA, Terminal-Bench 4.0, SciCode, HLE, GDP.pdf, CritPt, AA-Omniscience, AA-LCR）を重み付けして合成した総合指数。

第三者が同じ手順で測る総合点。配点はエージェント30%・コーディング20%・一般30%・科学推論20%。指数の版（v4.1.1 / v4.3 など）が違う数値は比較できない。

• 47 — Artificial Analysis（max） 出典 ↗

公式サイト ↗

Artificial Analysis が算出するコーディングエージェント向けの指数（OpenAI の比較表に掲載）。

AA 独自の合成指数。構成の詳細は AA の方法論ページを参照。

• 65.1＊ — OpenAI（最大effort） 出典 ↗

実際の Cursor の利用セッション由来の、曖昧で複数ファイルにまたがるタスクでコーディングエージェントを評価する。

現場の指示の曖昧さに近い評価。effort（思考量）の設定で値が大きく変わる。

• 41.7% — Anthropic（比較表に掲載）（最高スコア） 出典 ↗

ソフトウェアエンジニアリングのエージェント評価（v1.1）。

問題内容の詳細は各社の評価方法ページを参照。上位モデルは70%台で接近している。

• 72.7%＊ — OpenAI（最大effort） 出典 ↗

FrontierCode 1.1 の拡張セット。

Main と同じ考え方で問題数を広げたもの。

• 60.6%＊ — OpenAI（最大effort） 出典 ↗

エージェントのコード変更が「マージされるか」を測るコーディング評価（Mainセット）。

単に動くかではなく、レビューを通る品質かを見る。プロンプトやハーネスの違いで数ptずれる。

• 47.5%＊ — OpenAI（最大effort） 出典 ↗

ターミナル上で、ソフトウェア・機械学習・科学・運用・セキュリティ・ハードウェア・メディアなど複雑な多段階作業をやり切れるかを測る評価。

実際にコマンドを実行して作業を完了できるか。エージェントのハーネス（実行環境）や試行回数で結果が変わり、標準誤差は±2〜3pt程度。数pt差は誤差の範囲。

• 37.3%＊ — OpenAI（最大effort） 出典 ↗
• 39.9% — Artificial Analysis（max） 出典 ↗

公式サイト ↗

Zapier 作。複数の連携アプリをまたぐ実際の業務ワークフローをエージェントが遂行できるかを測る。

業務自動化の実用度。ガードレール違反や安全装置の介入が失敗扱いになる設定だと、実運用より低く出る。

• 18.1%＊ — OpenAI（最大effort） 出典 ↗
• 28.8% — Zapier 公開リーダーボード（Anthropic の表に掲載）（OpenAI 報告の18.1%と別測定） 出典 ↗

44職種の実務タスクでエージェントを評価する。Artificial Analysis が Elo で算出。

Elo は対戦形式の相対評価で、差が大きいほど人間の評価者に選ばれやすい。絶対的な正答率ではない。

• 1588 Elo — Artificial Analysis（Anthropic の表に掲載） 出典 ↗

コンピュータ操作エージェントの合格率を測る評価。

測定者によって値が大きく違う（OpenAI 59.3% / Google 34.2% など）。必ず測定者と条件を確認すること。

• 53.6%＊ — OpenAI（最大effort） 出典 ↗

CAD（設計）タスクの評価。

OpenAI の脚注によると、Claude の数値は評価に3つの修正が加えられた条件。直接比較に注意。

• 83.3%＊ — OpenAI（最大effort） 出典 ↗

ウェブを調べて見つけにくい情報を探し出す能力を測るブラウジング評価。

検索・閲覧を使った調査力。ツール構成で結果が変わる。

• 90.4%＊ — OpenAI（最大effort） 出典 ↗

実際のPC環境でGUI操作タスクをこなす OSWorld 2.0 のオフラインサブセットの部分点。

実際に画面を見て操作する力。部分点なので完全達成率ではない。

• 65.7%＊ — OpenAI（最大effort・オフラインセット・部分点） 出典 ↗

公式サイト ↗

高解像度のプロ向けソフトの画面で、指示された要素の位置を正しく特定できるか（GUIグラウンディング）。

PC操作エージェントの目の良さ。

• 76.9%＊ — OpenAI（最大effort・ツールなし） 出典 ↗

ARC Prize の抽象推論パズル（第1版）。

ほぼ飽和（97〜98%）で、差がつきにくい。

• 97.5%＊ — OpenAI（最大effort） 出典 ↗

公式サイト ↗

ARC Prize の抽象推論パズル（第2版）。

1より難しい。90%前後で上位が接近。

• 92.5%＊ — OpenAI（最大effort） 出典 ↗

公式サイト ↗

新規の対話的な環境を探索して解く形式の抽象推論評価。人間の行動効率を基準に採点（OpenAI/ARC Prize の説明）。

Astra の99.9%は OpenAI の自社 Responses API ハーネスでの値。ARC Prize 側は「人間水準に到達」とコメント。

• 7.8%＊ — OpenAI（最大effort） 出典 ↗

公式サイト ↗

大学院レベルの生物・化学・物理の選択式問題（Diamond は高品質サブセット）。

上位モデルは93〜96%で飽和気味。数ptの差は実力差より誤差・問題の癖に近い。

• 94.6%＊ — OpenAI（最大effort） 出典 ↗

公式サイト ↗

研究レベルの最難関数学問題（Tier 4）。

OpenAI は Astra で97.6%と報告。非常に難しい評価での高得点だが、自社報告である点に注意。

• 83%＊ — OpenAI（最大effort） 出典 ↗

医療・健康分野の専門家向け評価。回答の長さによる有利不利を補正した値。

医療判断の代替ではなく、モデル間の相対比較用。

• 60.5%＊ — OpenAI（最大effort・長さ補正） 出典 ↗

データ解析・シミュレーション・モデルのフィッティングなど、科学研究のワークフローをコードとターミナルで遂行できるかを測る。

研究実務に近いエージェント評価。標準誤差が±3.5〜5ptと大きいため、近い値の優劣は断定できない。

• 22.4%＊ — OpenAI（最大effort） 出典 ↗

長大な文脈に埋めた8個の類似した「針」から指定のものを取り出す長文脈検索評価（256K〜512Kトークン）。

長い入力でも正確に参照できるか。OpenAI は Astra と Sol のみ掲載。

• 91.5%＊ — OpenAI（最大effort） 出典 ↗

同上（512K〜1Mトークン）。

超長文での検索精度。長くなるほど差が開く。

• 73.8%＊ — OpenAI（最大effort） 出典 ↗

既知の脆弱性を実際に動くエクスプロイトにできるかを測る評価（OpenAI の説明）。

OpenAI はセーフガードなしで測定。Astra は100%で飽和。

• 78.5%＊ — OpenAI（最大effort・セーフガードなし） 出典 ↗

既知の脆弱性を動くエクスプロイトに変換できるかを測る評価（OpenAI の説明）。

セーフガードなしでの成功率。

• 30.3%＊ — OpenAI（最大effort・セーフガードなし） 出典 ↗

ソースコードなしでバイナリをリバースエンジニアリングして中核ロジックを理解できるかを測る評価（OpenAI の説明）。

単発の成功率。OpenAI は4回試行では99.2%と報告。

• 55.9%＊ — OpenAI（最大effort・単発成功率） 出典 ↗