管道/顺序架构(Pipeline)
别名:流水线Sequential Pipeline顺序执行ETL Agent线性架构
| 分类 | 🏗️ 架构范式 |
| 阅读时间 | ⏱️ 13 分钟 |
| 更新时间 | 📅 2026-07-16 |
| 条目编号 | ENC-ARCH-11-pipeline-sequential |
管道/顺序架构把任务拆成固定的线性阶段,每阶段由专门的 Agent 或处理单元完成,上一阶段的输出是下一阶段的输入。它确定性高、易调试,适合流程标准化的场景。
关键要点 ✦
- 管道是「确定性线性」的多阶段处理,非动态规划
- 每阶段职责单一,输入输出契约清晰,易调试
- 适合数据清洗、文档生成等流程标准化任务
- 可在某些阶段用 Agent 替代规则,混合柔性
- 瓶颈在慢阶段,需并行化与背压(backpressure)控制
结构特征
管道呈线性 DAG:Stage1 → Stage2 → … → StageN,每个 Stage 是单一职责的处理单元(可以是规则脚本,也可以是 Agent)。数据(或上下文)沿管道单向流动,上一阶段的产出作为下一阶段的输入契约。
例如「抓取→清洗→摘要→翻译→发布」即典型文本管道。
为何稳健
因为是预定义路径,行为可预测、失败可精确定位、成本低且易做单元验证——这正是企业偏爱它的原因。相比让一个 Agent 自由发挥,管道把「灵活性」让渡给「可靠性」。
现代做法是在个别阶段嵌入 Agent(如用 LLM 做智能清洗),其余阶段保持规则,兼顾柔性与可控。
优化方向
慢阶段会成为全局瓶颈。可通过阶段并行(独立子流)、批处理与背压机制(下游忙时上游限流)提升吞吐。同时每阶段应有独立可观测指标,快速定位拖慢整体的是哪一段。
🎯 应用场景
文档处理流水线
OCR→结构化→摘要→入库的线性处理。
数据 ETL
抽取→清洗→转换→加载的批处理管道。
内容发布流
选题→撰稿→审校→排版→群发的固定流程。
✅ 最佳实践
- 只在确需柔性的阶段引入 Agent,其余保持规则
- 为每阶段定义清晰输入输出契约便于测试
- 加背压与并行,避免慢阶段拖垮整体吞吐
- 对关键阶段保留人工抽检闸口
🔮 未来展望
管道将与 Agent 深度融合为「智能管道」:阶段边界动态生成、失败阶段自动重构,但主干仍保持线性可审计,满足企业合规对「可解释流程」的刚需。
📖 相关条目
🛠️ 相关产品
🏷️ 标签管道Pipeline顺序流水线架构确定性