Question 1

什么是 Artificial Analysis 编程智能体指数？

Accepted Answer

这是 Claude Code、Codex、Devin Fusion CLI 等编程智能体在真实软件工程任务上的综合分。三项基准等权平均：DeepSWE v1.1（113 个任务）、Terminal-Bench 4.0（66 个任务）与 SWE-Atlas-QnA（124 个任务），每个任务跑三遍取 pass@1。

Question 2

为什么不同智能体每任务成本差这么多？

Accepted Answer

每任务成本按实测 token 用量 × 承载模型的 token 报价计算。使用长上下文推理或步骤更多的智能体（如 Fable 5.1 上的 Claude Code）每任务成本可能是 Codex + DeepSeek V4 这类高效组合的 50 倍，即使两者指数接近。

Question 3

同一个模型在不同智能体里分数一样吗？

Accepted Answer

不一样。Harness 本身影响结果：同一个承载模型（如 Fable 5.1、GPT-6 Astra）在 Claude Code、Codex、Devin Fusion CLI 中的指数、成本和耗时都不同。本表每一行是一个「智能体 × 模型」配置，不是单纯模型分。

Question 4

榜单多久更新？

Accepted Answer

Artificial Analysis 会随智能体和模型新版本持续重跑评测；aiplans.dev 每晚同步公开快照，并在表格顶部显示快照日期。

#	智能体 / 模型	指数	DeepSWE	Terminal-Bench	SWE-Atlas	每任务成本	每任务耗时
1	Claude Code claude-fable-5.1	62.2%最佳	64.3%	57.6%	64.8%	US$12.39	34.8m
2	Devin Fusion CLI claude-fable-5.1	61.7%	63.1%	56.1%	65.9%	US$7.90	35.8m
3	Codex gpt-6-astra	61.6%	67.6%	55.6%	61.8%	US$7.47	29.4m
4	Claude Code claude-opus-5	59.7%	62.5%	54.5%	62.1%	US$10.79	41.9m
5	Devin Fusion CLI gpt-6-astra	58.9%	67.3%	50.0%	59.4%	US$4.54	24.7m
6	Codex gpt-5.6-sol	54.6%	72.3%	37.4%	54.0%	US$6.58	20.6m
7	Muse Code Muse Spark 1.3 (max)	54.3%	71.7%	31.8%	59.4%	US$3.98	18.4m
8	Opencode glm-5.3	53.6%	61.4%	39.9%	59.4%	US$4.24	48.1m
9	Kimi Code CLI kimi-k3	51.9%	68.4%	21.2%	66.1%	US$5.05	1h
10	Grok Build grok-4.6	47.0%	64.9%	17.7%	58.3%	US$3.57	19.5m
11	Claude Code qwen3.8-max	43.3%	51.0%	16.7%	62.1%	US$3.49	1.1h
12	Codex deepseek-v4-pro	43.1%	57.2%	10.1%	61.8%	US$0.24	40.3m
13	Antigravity SDK v0.1.12 gemini-3.8-flash	41.9%	65.8%	14.6%	45.2%	US$2.47	11.7m
14	Codex deepseek-v4-flash	38.7%	54.3%	10.6%	51.3%	US$0.08	18.3m

编程智能体排行榜

指数如何构成