ベンチマーク / AutomationBench-AA(Score)
AutomationBench-AA(Score)
エージェント・業務・高いほど良い
このベンチマークとは
Artificial Analysis が Zapier と共同で、非公開の657タスクで実施する版。部分点あり、ガードレール違反があるタスクは0点。
Score は達成した目的の割合の平均。公開版と違い非公開問題なので、対策学習による水増しが効きにくい。
*=開発元の自社発表。 出典(表)ごとに分けています。同じ表の値どうしは同じ条件で比べられます。
オフピーク時の割引価格など。AutomationBench-AA 68.9% は Artificial Analysis の値として報じられたもの。
- 1
DeepSeek V4.1 Flash68.9%Artificial Analysis・報道経由の値
Artificial Analysis の表
Artificial Analysis: Intelligence Index v4.3 発表 ↗2026-09-07 の発表時点の数値。最新値はリーダーボードを参照。
- 1
GPT-6 Astra68.5%Artificial Analysis・max・非公開657タスク
- 2
Grok 4.666.7%Artificial Analysis・high
- 3
GLM-5.362.2%Artificial Analysis・max