对话香港理工秦浩桐：把 AI 大模型压到极限之后

香港理工大学助理教授秦浩桐聚焦大模型极限压缩，其发表于 ICML 2024 的 BiLLM 方案通过训练后量化将预训练大语言模型平均权重位宽压缩至约 1.08 比特。他指出，极限压缩更易从数学理论层面抽象并解决问题，沉淀的认知可反哺工业落地，同时大幅缩短推理耗时也能显著提升模型在端侧设备中的实时交互决策能力。