定制小语言模型词表如何在实际应用中降低 77% 推理成本

研究人员提出一种名为 VocabX 的词表定制方法，在不改变基座模型的前提下，使基于 Qwen3-4B 构建的葡萄牙语作文评分系统实测推理成本降低 77%。该方法围绕每个 token 的推理成本而非出现频率重构词表，并将模型输出层从约 15.2 万行缩减至约 6.5 万行。测试显示，该系统中单个生成 token 的成本达到读取 token 的 7.4 倍。