跳到正文
原文
Hacker News · AI· tpruthi·· 3 小时前AI 评分57

Commit-Aware Router 开源:结合企业商业承诺的 LLM 流量路由层

Show HN: Commit-Aware Router, route LLM traffic around your AI/cloud commitments

AI 导读

开源概念验证项目 Commit-Aware Router 发布,旨在让企业的大语言模型流量路由在兼顾性能与成本的同时,结合云厂商与模型提供商的预付费或保底消费承诺进行决策。系统通过将财务指导转化为短期签名的策略信号,在优先保证质量和延迟约束的前提下调整候选路由权重,避免敏感合同数据直接暴露给网关。目前仓库提供了 Python 路由实现、LiteLLM 集成示例以及影子模式评估功能。

来源:Hacker News · AI · github.com