arXiv 机器学习· Mei Okonkwo, Owen Castellanos, Ingrid Solberg, Yusuf Demirel·· 6 小时前AI 评分38
一个 Token 需要多少 Rank？面向秩一 LoRA 专家的底噪静噪方法 SQUELCH
How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts
AI 导读
研究人员提出无路由器的秩一专家混合方法 SQUELCH，通过对每个 token 的响应进行软阈值处理来实现动态激活 rank，且不为 LoRA 增加可训练参数。
来源：arXiv 机器学习 · arxiv.org