arXiv 机器学习· Shuqi Liu, Yuzhou Cao, Luke Ong·· 10 小时前AI 评分39
基于逐查询模态选择的全模态大语言模型高效推理
Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection
AI 导读
研究提出基于逐查询模态选择的全模态大语言模型推理优化方法，在底层模型不变的前提下为每个查询自适应选择输入模态。在 WorldSense 基准测试中，该方法在准确率达到或超越全模态输入的同时，使 Qwen2.5-Omni 仅需约 41% 的输入 token、39% 的延迟与 61% 的资金成本，并在 Qwen3-Omni 上同样显著改善了精度与成本的权衡。
来源：arXiv 机器学习 · arxiv.org