Anthropic 发布 Claude Opus 5,在第三方评测集 AA-Briefcase 中成为智能体知识工作能力的新标杆。据 Artificial Analysis 公布,该模型在最高效能设置下,不仅性能超越 Claude Fable 5,且单次任务成本降低了 20%。

Claude Opus 5 在 AA-Briefcase 评测中领先的性能数据图表

Claude Opus 5 刷新智能体知识工作基准

据 Artificial Analysis 报道,Claude Opus 5 在其专有的智能体知识工作评测集 AA-Briefcase 中排名第一。该评测集通过数千个输入文件,模拟真实且私密的知识工作任务,要求模型交付研究报告、演示文稿和电子表格,综合评估正确性、分析质量和呈现质量。

在最高效能 (max effort) 设置下,Claude Opus 5 的 AA-Briefcase Elo 分数达到 1720,领先 Claude Fable 5(1574) 约 146 分。此外,其 xhigh(1693) 和 high(1606) 变体同样在性能上超越了 Fable 5,且具备更高的成本效益。

多档位效能设置与成本优化

Claude Opus 5 提供了五种效能设置,允许用户在智能水平与成本之间进行权衡。在 max 模式下,单次任务成本为 17.79 美元,相比 Claude Fable 5 的 22.30 美元降低了 20%。

对于追求更高性价比的用户,high 模式表现尤为突出:其单次任务成本仅为 10.41 美元,不足 Fable 5 的一半,但在 AA-Briefcase 分数上仍高出 32 分。xhigh 模式的成本则为 14.26 美元(约为 Fable 5 的 64%)。

在 API 定价方面,Claude Opus 5 延续了 Opus 4.8 的定价标准,即每百万 input/output tokens 分别为 5 美元 和 25 美元,并对缓存写入收取 25% 的溢价,对缓存命中提供 90% 的折扣。

分析能力大幅提升,但呈现质量仍有差距

数据分析显示,Claude Opus 5 的增长主要由 rubric 通过率和分析质量驱动。在 max 模式下,其分析质量 Elo 达到 2016,领先 Claude Fable 5 接近 300 分。

然而,在演示文稿的呈现质量上,Claude Opus 5 的提升幅度较小。其呈现 Elo 为 1628,仍落后于 GPT-5.6 Sol (max) 的 1666 分。这意味着在需要极高视觉或格式化交付的任务中,GPT-5.6 Sol 仍具优势。

推理步数增加导致任务耗时增长

为了追求顶尖性能,Claude Opus 5 显著增加了推理的迭代次数。在 top 3 效能设置 (max, xhigh, high) 中,单次任务的平均耗时均超过 25 分钟,具体分别为 36.2、34.3 和 25.7 分钟。

在 max 模式下,耗时比 Opus 4.8(24.1 分钟) 增加了约 50%。这主要是因为模型在执行任务时的对话轮数增加,Claude Opus 5 在 top 3 模式下的平均轮数分别为 103、91 和 76 轮,而 Opus 4.8 (max) 仅为 55 轮。

Claude Opus 5 通过增加推理深度显著提升了分析能力并降低了单任务成本,但在交付速度和呈现质量上仍有优化空间。


评论 0

订阅评论
提醒
guest
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x