Knowledge Distillation（知识蒸馏）

知识蒸馏（Knowledge Distillation）是一种模型压缩技术：用一个大型高性能的「教师模型」来训练一个更小的「学生模型」。学生模型学习模仿教师模型的输出分布，从而获得接近教师模型的能力，但体积小得多、推理快得多。

形象地说，教师模型把"答题思路"教给了学生模型——学生不需要阅读全部教科书，而是学习教师在每个问题上如何思考和作答。

2026 年 Agent 厂商普遍采用「大模型做规划，小模型做执行」的分层架构：

规划层：使用 GPT-o3 或 Claude 4 等大型推理模型，负责任务拆解和复杂规划。

执行层：使用蒸馏后的小型模型（如 7B-14B），负责具体的代码生成和工具调用。

这种架构比纯用大模型便宜 5-10 倍，同时保持 90%+ 的任务完成质量。

2026 年 6 月，「Qwen 蒸馏事件」引发行业震动：Qwen 模型被指控在未经授权的情况下从闭源模型（如 GPT-4）蒸馏知识。这暴露了蒸馏在法律和伦理层面的灰色地带——模型输出的学习是否构成版权侵权？2026 年各国监管机构正在制定蒸馏相关的法规。

蒸馏正在从模型层扩展到行为层。2026 年出现了一种新范式——「行为蒸馏」：不蒸馏模型的参数，而是将教师 Agent 的决策轨迹记录下来，让学生 Agent 学习这些轨迹。这种方法更高效，且法律风险更小。