← 返回首页
🔀

ARBR

Gyde(Prasanna Vaidya、Shubham Deshmukh)

9/3 发布的开源(MIT)LLM 控制面,单一 OpenAI 兼容端点统一路由/治理/可观测/评估/灰度发布

开源 基础设施 网关 MCP
B+
多模型流量治理网关
⭐⭐⭐⭐

📖 产品简介

ARBR 是 2026 年 9 月 3 日登上 Product Hunt(94 upvotes,日榜 #14)的开源 LLM 控制面(control plane),口号「Control Every AI Request」。

它在应用与各家模型之间提供单一 OpenAI 兼容端点,统一完成路由、治理、可观测、评估与部署。核心是一套六步循环:观测真实负载(按应用/工作流/团队/用户归因成本与延迟)→发现可降配的贵模型→用代表性流量构建评估集(PII 掩码)→在质量/成本/延迟/格式/关键失败上评估候选→人工审批后以 shadow/canary 灰度发布→验证实际节省并可回滚。边界明确:开发者显式 pin 的模型原样保留,仅当应用传 model:"auto" 时才按人工启用的规则路由;预算可告警/降配/拦截。MIT 许可、完全自托管免费(Docker + MongoDB),也可置于 LiteLLM 之上;定价目录覆盖 LiteLLM 公开目录 3000+ 模型。

定位
9/3 发布的开源(MIT)LLM 控制面,单一 OpenAI 兼容端点统一路由/治理/可观测/评估/灰度发布
适合人群
平台/基础设施团队 FinOps 与技管 多模型生产应用 自托管偏好者
支持平台
Docker、云端自托管、Node + React 仪表盘
开源
是 · GitHub

核心功能

  • 🔌 单一 OpenAI 兼容端点:应用改 base_url 即接入,兼容 LangChain/LibreChat/OpenWebUI
  • 🧭 智能路由与回退:按任务类型/难度/成本在 tier 内选最便宜达标模型
  • 🛡️ 请求路径内治理:预算/限流/提示注入检查/一键熔断,事前而非事后
  • 📊 全栈可观测:成本/延迟/token/路由原因,OpenTelemetry 导出 Datadog/Grafana/Prometheus
  • 🧪 评估驱动灰度:LLM 裁判评估实时流量,canary/shadow + 自动回滚
  • 🔓 MIT 开源、自托管免费,可置于 LiteLLM 之上

⚖️ 优缺点分析

👍 优点

  • 开源免费、可自托管
  • 显式可审计可逆路由
  • eval 驱动降本不掉质
  • 请求路径内治理(左移)

👎 缺点

  • 9 月才 Product Hunt、社区小(约 27 stars)
  • 未定价模型成本记为 $0(需自行配置)
  • 无嵌入路由、宿主版价格未公布
  • 自托管需 Docker+MongoDB

📊 评分详情

功能完整
8.5
易用程度
7.5
安全可靠
8.5
性价比
9

💬 用户评价

ARBR 把多模型路由、eval 和预算治理收进一层可逆规则,比在每个应用里写路由逻辑省心得多。

📝 更新日志

  • 2026-09-03
    Product Hunt 发布(9/3,v0.3.0)
    ARBR 于 9/3 登 Product Hunt(94 upvotes,日榜 #14),开源(MIT)LLM 控制面:单一 OpenAI 兼容端点统一路由/治理/可观测/评估/灰度发布,显式可审计可逆路由,预算与提示注入检查在请求路径内生效;自托管免费,托管版价格未公布。仓库 project-arbr/arbr-control-plane(约 27 stars)。来源:Product Hunt / ChatGate / AGI Hunt / blog.imseankim(2026-09-03~09-07)。