AITNT · AI头条(网页)·· 6 小时前AI 评分45
人大团队提出大语言模型解码方法 ME-Decoding:结合概率与语义冗余优化候选子集
EMNLP 2026 | 大模型解码不能只看概率,人大团队引入语义冗余
AI 导读
中国人民大学团队提出 ME-Decoding 大语言模型解码方法,通过同时读取 token 概率与 embedding 相似度,将候选筛选转化为动态子集优化以消除语义冗余。在 Qwen3-4B、Phi-4-mini 与 Mistral-7B 上的测试显示,该方法在 GSM8K 和 GPQA 上的平均准确率分别达到 72.66% 和 32.96%,端到端 GPU 延迟相比基线仅增加约 3%。
来源:AITNT · AI头条(网页) · aitntnews.com