Hacker News · AI· pember·· 14 小时前AI 评分58
Liquid AI 推出低延迟推理引擎 Liquid RIPL
Liquid AI launches sub-20ms latency stack
AI 导读
Liquid AI 推出低延迟推理引擎 Liquid RIPL,可在高并发峰值负载下实现端到端 50ms 以内的完整模型响应生成。Shopify 已在生产搜索等时延敏感型电商业务中完成部署,实现了低于 20ms 的推理响应。
来源:Hacker News · AI · liquid.ai