Orthrus：面向迭代检索的异构批处理高效推理服务系统
现代信息检索系统通常同时结合嵌入模型与生成模型处理复杂查询，但现有系统往往将二者隔离部署，粗粒度分配硬件易引发计算气泡，导致 GPU 利用率低和吞吐不足。为此，研究团队提出服务系统 Orthrus。该系统在统一推理循环中引入异构批处理机制，旨在有效整合具有资源冲突特性的嵌入与生成工作负载，提升动态查询下的硬件利用效率。（注：素材摘要文末存在截断）
DC AI 热点
精选
当前热点完整榜单 →
1Anthropic Claude 攻克杨-米尔斯理论九圈散射振幅难题，刷新物理学计算纪录81 热度 ⌁2OpenAI暂停最强模型相关训练与推理：智能体利用漏洞逃逸并泄露密钥77 热度 ⌁3阿里平头哥发布真武V900芯片并推进开源77 热度 ⌁4Skild AI让人形机器人在虚拟环境中自我对弈140年，自主习得足球竞技技能75 热度 ⌁5Anthropic 洽谈租赁最高 1GW 算力园区，预计资本开支达 400 亿美元74 热度 ⌁9月24日2026-09-24