Together AI、推論コンパイラ「Together Compiler」を発表

Together AIは、動的ワークロード向けの推論コンパイラ「Together Compiler（TKCC）」を発表した。高スループットなエージェントを活用して継続的な最適化ループを構築する。一度起動すればホットリロードが可能な永続エンジン機構を採用することで、実験スループットを252倍に引き上げ、2段階のエンジンアーキテクチャとコストモデルを組み合わせて最適な並列化戦略を探索する。