一条与云端并行的赛道
随着几家大型厂商在办公智能体方向持续投入,另一条基于本地大模型的路径也在成形。据 9 月 14 日的公开报道,业内观察认为,云端大模型不断抬高智能上限的同时,本地大模型的智能水平也在提升,两者结合智能体正加速融入办公场景。
驱动这条路径的不是技术炫技,而是两类相当具体的需求:企业用户出于隐私与保密考虑,对本地部署存在刚性需求;以及长期运行的任务不希望为每一次推理单独付费。硬件厂商与中小 AI 团队把这种趋势视为新的商业机会。
两个可核对的样本
一个样本来自高校孵化的团队。北京大学科学智能学院孵化的元空 AI 发布了自研本地大模型 Boxer,以及基于它的 AI 办公平台与 AI 科研平台。公开信息显示,Boxer 基于阿里千问的 Qwen3.5-35B-A3B 后训练而来;在一台 40TOPS 算力的消费级 PC 上,对话延迟接近真人交流,运行内存占用约 8GB。该团队此前曾发布过一款表格 AI 产品,称已积累数百万用户。
另一个样本来自面向工具调用的后训练路线。原点星辉发布了本地大模型 StartLux-V1.0-27B-Preview,以阿里千问 Qwen3.6-27B 为基座,面向工具调用与通用智能体场景做后训练加强。按其说法,在信通院可信 AI 大模型基准测试的 MCP 专项测试中,该模型的综合性能超过了多款千亿参数大模型。
该团队技术负责人给出的判断是:当 AI 工作得越来越深,隐私、成本与持续运行会从附加条件变为真正影响体验的核心问题,本地不再只是一个部署选择,而会成为下一代智能的一种自然形态。
更小的模型为何能承担更多办公任务
问题随之而来:与云端大模型相比,更小的模型为何能承担更多办公任务?公开报道给出的解释集中在两条。
一条与企业安全有关。有从业者认为,企业级 AI 的竞争不在于模型大小,而在于数据是否出设备、成本与使用稳定性。硬件厂商一侧的表述更直接:对企业用户而言,使用云端大模型的一个主要风险是企业数据与经验被「蒸馏」。这一担忧并不难理解——把内部资料与工作记录交给外部服务,本身就意味着把长期积累的判断方式暴露出去。
另一条与本地模型的智能化水平有关。该方向的从业者把红利归因于三条同时向上的技术曲线:大模型本身越来越高效、消费级硬件越来越强、推理与智能体系统越来越成熟。三条曲线叠加,让更小的模型能在更低的硬件门槛上承担更复杂的任务。
它与云端不是替代关系
需要把这条路径放回整体格局里看。云端大模型仍在继续推高智能上限,本地模型承接的则是隐私与成本敏感的场景。更准确的表述是分层,而不是替代:复杂的、对智能上限要求高的任务仍然会走向云端,而对数据边界敏感、需要长期驻留运行的任务,则更适合留在设备上。
这也解释了为什么「后训练」是这一波的关键词。团队大多不是从零训练基座,而是在已有中小参数模型上做面向办公与工具调用的后训练加强,把通用能力收敛到具体场景。这条路线成本可控、迭代快,但能力上限受基座约束。
几点需要保留的谨慎
其一,「综合性能超越千亿参数模型」需要限定任务类型。MCP 专项测试考察的是特定能力,在工具调用这一项上表现出色,不等于在通用推理、长程规划或复杂代码任务上同样领先。
其二,40TOPS 消费级 PC 上约 8GB 内存占用,说明这类模型是中小参数规模。它在简单办公任务上的流畅体验,与在复杂长程 Agent 任务上的可靠性是两件事,后者的公开数据有限。
其三,「数据不出设备」是部署承诺。实际运行中是否发生遥测、模型更新回传或其他形式的联网,需要看具体产品的隐私说明,公开报道没有展开。
其四,企业采用本地路线的总成本不只是硬件采购。模型更新、版本管理、故障处理与安全维护都需要 IT 投入,这些成本在比较云端与本地时经常被低估。
其五,「企业数据被蒸馏」是合理的担忧,但缺少公开的量化案例。把它当作决策依据时,应当区分「理论风险」与「已被证实的损失」。
另需说明赛道边界:本地大模型本身属于模型层,本文聚焦的是它作为办公 Agent 底座这一趋势,而非模型能力本身的排名。
相关产品的第三方独立评测、长期运行稳定性数据与企业级部署的合规说明,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。