Project Maya、CUDAとROCmのデュアルバックエンドに対応　異種GPU推論で最大48%の高速化

オープンソースの推論プロジェクト「Project Maya」に、CUDAとROCmのデュアルバックエンド対応を導入するPR（プルリクエスト）が提出され、異なるベンダーのGPUを連携させた大規模言語モデル（LLM）推論が実現した。同手法では、CUDAがメインモデルの実行を担い、個別にコンパイルされたHIPモジュールと96 GiBのUMA（ユニファイドメモリ）がGLMのエキスパート計算を担当する。Ryzen AI Max+ 395とRTX 5090を組み合わせた環境での実測において、ネイティブCUDA＋CPU構成と比較してデコード速度が最大48%向上した。