智能体「能写代码」已经不是什么新闻,但「能自己把一套基础设施系统跑起来」是另一回事。9 月 11 日,一个名为 Φ-Bench 的基准被发布,专门用来量这件事:前沿大模型能否自主完成基础设施工程任务。它给出的分数并不好看——最高分只有 36.53%,而在硬件边缘类任务上,最佳模型甚至只有 5.4%。这两个数字放在一起,比任何宣传语都更能说明当前智能体的能力边界在哪。

这个基准想量什么

据公开信息,Φ-Bench 由丁磊磊、张彦勇团队发布,涵盖 9 大类、85 项任务,目标是检验前沿大模型能否自主完成基础设施工程任务。它关注的不是「写出一段能跑的代码」,而是更接近真实工程的一整套动作:理解一个已有系统的结构、定位问题、修改配置或代码、部署验证、并在出错时自行排查。这类任务的特点是——没有标准答案,且每一步都依赖上一步的真实环境反馈。

把「基础设施工程」单独拎出来做基准,本身是一个有意义的判断。它介于纯软件任务与物理世界任务之间:比写一个算法函数更贴近工程现场,又比操作真实硬件更容易在受控环境里复现。这也让它的分数具备一定的参考价值——它量的是一个相对难以被刷分的区间。

分数怎么读:36.53% 与 5.4% 的落差

据公开结果,Claude Opus 5 以 36.53% 位居前列,领先 Kimi K3 与 GPT 5.6 Sol。单看这个数字,36.53% 并不高——如果把它当作「完成率」,意味着大多数任务仍未通过。但换个角度看,在需要多步真实环境交互的基准上能拿到三成多,说明模型确实已经能独立走通相当一部分工程流程,而不是只会生成片段。

真正值得停留的是另一个数字:在硬件边缘类任务上,最佳模型仅达 5.4%。这个落差指向一个结构性事实——模型在「软件定义、反馈清晰」的任务上进步较快,一旦涉及硬件边缘这类反馈稀疏、环境不确定、调试手段有限的任务,能力就急剧下降。这不是模型「不够聪明」的问题,而是这类任务的本质更接近「在没有充分观测的情况下做决策」,恰恰是当前智能体最薄弱的一环。

为什么「基础设施工程」是智能体的硬骨头

这类任务难,难在三个地方。其一是反馈稀疏:写代码可以即时运行、看报错;但配置一套基础设施、排查一个部署问题,反馈往往是延迟的、间接的,甚至需要人来判断「现在这个状态算不算正常」。其二是状态不可逆:很多操作会改变系统状态,试错成本高,模型必须学会在动手前做风险评估,而这恰恰是它目前不擅长的。其三是长程依赖:一个任务可能由十几步组成,前面一步的小偏差会在后面被放大,而模型在长链路上容易「走偏而不自知」。

这也解释了为什么近期多个基准都在往「真实工程」方向靠。当模型的通用能力逐渐接近,评测的重心就从「会不会」转向「能不能可靠地完成一整套流程」——而后者更接近企业真正付费购买的,是「结果」而非「能力」。

把它放进基准的谱系里看

Φ-Bench 不是孤例。据公开信息,近期已有多个面向智能体真实能力的基准出现:有的聚焦「智能体构建智能体」这类递归任务,结果显示整体通过率偏低;有的把评测本身当作一个独立赛道,认为在智能体时代,评测正在从配套工具变成基础设施;还有的从成本—性能的角度切入,强调「够用且便宜」同样是竞争力。这些基准的共同点,是把注意力从「模型跑分」移向「智能体在真实任务里的完成度」。

Φ-Bench 的独特之处,是它把「基础设施工程」这一具体领域单独立出来。这个选择有现实意义——随着智能体开始被用于运维、部署、系统调优,企业需要的不是它在通用榜单上排第几,而是它在自己这类任务上到底能不能用。一个领域的专用基准,往往比一个笼统的综合榜更能指导选型。

中立思辨

需要谨慎解读这组数字。其一,任何基准都存在被针对性优化的可能,Φ-Bench 的 85 项任务如何防止「应试」,其任务设计与评分细则是否公开、是否经过第三方复核,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。其二,36.53% 与 5.4% 反映的是特定任务集上的表现,不能直接外推为「模型在真实基础设施工作里能做三成」——真实环境的复杂度、噪音与不可预测性通常高于基准环境。其三,硬件边缘任务得分极低,也可能部分来自基准设计本身的难度设置,需要区分「模型能力不足」与「任务超出当前可测范围」。其四,模型排名会随版本快速变化,把某一时刻的名次当作长期结论并不严谨,更稳妥的做法是把它当作一个持续观察的窗口。

趋势研判

短期,这类专用基准会成为企业选型时的参考项之一,尤其在被监管、对可靠性要求高的行业,因为「在类似任务上的完成度」比综合能力更接近真实需求;中期,随着基准暴露出的短板被针对性补齐,智能体在软件定义的基础设施任务上会继续进步,而硬件边缘这类反馈稀疏的场景改善会更慢;长期,真正决定智能体能否接管基础设施工作的,不是分数本身,而是它能否在长程、不可逆、反馈稀疏的任务里做到「出错可发现、可回滚」——能力之外的可靠性工程,才是这道门槛的核心。

对开发团队与运维负责人的务实建议是:不要用综合榜单来选智能体工具,而是用你自己环境里的真实任务做一次小样本评测——挑十来个平时最耗时、又相对可复现的运维任务,让智能体试跑,记录成功率与返工成本。用自己数据得到的结论,比任何公开基准都更贴合你的实际。