Hacker News · AI· sha_rad·· 3 小时前精选AI 评分64
Together AI 推出推理编译器 Together Compiler
Together AI Compiler for Inference
AI 导读
Together AI 推出面向动态负载的推理编译器 Together Compiler(TKCC),利用高吞吐智能体构建持续优化回路。系统采用启动一次即可热重载的持久化引擎机制,将实验吞吐量提升 252 倍,并结合两级引擎架构与成本模型搜索最优并行策略。
推荐理由
该系统通过持久化引擎与多智能体协作大幅压缩测试耗时,为应对动态流量和多架构大模型的端到端推理优化提供了可落地的工程架构。
来源:Hacker News · AI · together.ai