一个被反复提起、却很少被量化的判断
「模型强不等于智能体强」——这句话在智能体圈里已经被说了很久，但多数时候它停留在经验层面：大家都知道框架、工具、上下文管理会影响结果，却很少有一个基准能把影响幅度测出来。
一项名为 DuMateBench 的新基准试图补上这一环。论文标题直译为《在复杂真实工作流中评估自主智能体》，作者来自高校与产业实验室的联合团队。它最被引用的一组数字是：在同一个模型（Opus-4.8）上，不同智能体框架的得分从 0.5821 到 0.8548，跨度达到 27.27 个百分点。同一颗「大脑」，换了一套「身体」，结果差了将近三成。
先说明边界。这是一篇预印本论文，尚未经过同行评审；本文只引用其中已经公开的任务构造方式与结果，论文未披露的细节（例如完整的框架清单、每个框架的配置参数、多次运行的方差）目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
200 个任务是怎么造出来的
DuMateBench 与多数智能体基准的区别，在于任务的来源。它不是由研究者凭空设计题目，而是从真实用户会话中重建出来的，共 200 个任务，覆盖编程、网络调研、文档处理与内容创作四类工作。这个来源选择本身就有意义：真实会话里包含大量研究者想不到的琐碎要求与隐含前提，而这些恰恰是智能体在实际使用中最容易翻车的地方。
更具区分度的是环境设计。论文刻意让执行环境带上现实世界的「脏」：依赖缺失、网络不稳定、以及大量无关文件的干扰。这与多数基准的干净沙箱形成对比——在整洁环境里表现良好的智能体，进入有噪声的环境后未必还能保持。把「网络抖动」和「缺依赖」写进评测环境，等于把工程团队日常要处理的麻烦搬进了考场。
这一点值得展开。传统软件测试里，环境不确定性通常被当作需要消除的噪声；而在智能体评测中，它更像是能力的一部分。一个只会走顺路的智能体和一个能在依赖缺失时自己想办法的智能体，在干净环境里可能分数相近，但在带噪声的环境里会迅速分化。DuMateBench 选择保留噪声，实质上是在测「抗扰动能力」，而不只是「任务完成能力」。
27 分差距说明了什么
这组数字的价值在于它给出了一个量级参考。过去团队在讨论「要不要换框架」时，往往只能靠主观感受；27 个百分点意味着，框架层面的差异足以把同一模型的表现在「明显落后」和「接近可用」之间来回推动。它同时也提示了一件容易被忽略的事：当你在比较两个模型时，如果它们跑在不同的框架上，那么你测到的差异里，有相当一部分其实来自框架，而不是模型。
这解释了为什么近期一批研究都不约而同地把注意力放回「框架」这个词。有工作把框架视为能力真正被创造出来的地方——通过把路由记录转化为训练课程，让模型在框架的反馈中持续改进；也有工作证明，同一个模型在「把技能包直接注入上下文」与「把技能包装成子智能体隔离执行」两种方式下，结果可能整体反转。这些结论与 DuMateBench 的发现指向同一个方向：在当下的能力水平上，围绕模型的工程选择，其影响量级已经足以和模型选择相提并论。
一个由此衍生的观察是，评测对象本身在变化。过去大家比的是「哪个模型分高」，现在越来越多基准开始比「哪套系统在真实工作流里更稳」。论文把任务来源从合成题转向真实会话重建，把环境从干净沙箱转向带噪声的真实条件，这两步都指向同一个转向：从测能力，转向测可用性。
「框架即护城河」这个判断，成立到什么程度
DuMateBench 的结果常被概括为「框架是护城河」。这个说法有依据，但也需要限定条件。
成立的方面在于，如果同一模型在不同框架下能差出 27 个百分点，那么框架的工程积累确实是可观的差异化来源。它不容易被复制，因为它不是一段代码，而是大量失败经验的沉淀：什么时候该压缩上下文、什么时候该重试、工具描述怎么写才不会被误选、子任务如何隔离、错误如何恢复。这些东西写不进论文，只能靠时间堆出来。
需要限定的方面同样明显。其一，单模型、单次评测的结果不能直接外推：不同模型对框架的敏感度可能不同，一个对上下文组织更敏感的模型，换框架后的波动可能更大。其二，27 个百分点是区间跨度，不是平均差距，用最差与最好的极端值来描述整体分布会放大印象。其三，基准的任务集合由真实会话重建，仍然要经过筛选与改写，最终留下的任务是否代表真实工作负载，取决于重建过程的保真度，而这一点论文的公开信息有限。其四，框架的优势有时来自针对特定任务类型的调优，若任务分布变化，优势可能收窄。其五，把结论简化为「换框架就能涨分」，容易引导团队忽视另一件更重要的事——框架的效果高度依赖它与具体业务工具链的贴合度，照搬一个在公开基准上表现好的框架，未必能在自家系统里复现同样的增益。
中立思辨
还有几点值得提醒。其一，预印本阶段的结论应视为阶段性证据，尤其是涉及具体分差的数字，在同行评审与复现之后可能调整。其二，基准环境中的「依赖缺失、网络抖动」是刻意注入的，真实环境中的不确定性分布与之不同，抗扰动能力在基准上的排序能否迁移到生产，尚无公开对照实验。其三，评测结果对配置细节敏感——温度、最大步数、重试策略、超时阈值这些参数的设置会显著影响分数，而这些参数往往不随论文完整公开，导致复现困难，这也是智能体基准普遍面临的方法论问题。其四，把评测对象从模型扩展到「系统」，虽然更贴近现实，但也让排名变得更难解释：读者很难判断某一分的差距究竟来自框架、配置、还是评测环境的偶然因素。其五，对资源有限的小团队而言，追求「最优框架」的性价比可能低于先把自家工具链与上下文管理做扎实，因为后者是可控变量，而框架排名会随版本快速变化。
趋势研判
短期看，这类基准会推动团队把评测对象从「模型」改为「系统」，也就是把框架版本、工具集、上下文策略一起纳入评测与回归，而不是只测模型；中期看，随着框架差异被反复证明，围绕框架的可复现评测规范可能出现——例如要求公开关键配置与多次运行的方差，否则排名不具可比性；长期看，真正的分水岭可能不是「哪个框架更强」，而是「框架的能力能否被迁移」：如果一家团队积累的框架经验无法在不同模型、不同工具库之间复用，那么它更接近一次性的工程投入，而非可复利的资产。判断一个框架是否值得长期投入，一个务实的标准是看它换模型之后还能保留多少优势。
对正在做选型的团队，一个成本最低的验证方式是：用自家真实的三个失败案例，分别在你候选的两到三个框架里跑一遍，看它们各自是怎么失败的。公开基准告诉你框架的平均表现，而这三个案例告诉你它在你这里的表现。