跳到正文
原文
arXiv 机器学习· Chen Feng, Tianyi Xu, Ramchalam Kinattinkara Ramakrishnan, Yicheng Lin, Shaojie Zhuo, Zhaocong Yuan, Chenzheng Su, Xiaopeng Zhang·· 9 小时前AI 评分34

通过循环实现深度:迈向超高效端侧 ASR

Depth through Recurrence: Towards Ultra-Efficient On-Device ASR

AI 导读

研究人员提出一种块循环 ASR 架构,利用权重共享的循环块替代参数化深度,以减少一个数量级的参数量保留大模型精度。在 Open ASR Leaderboard 基准测试中,仅含两个共享块的模型平均恢复了大型模型 97.4% 的准确率。该紧凑网络还支持轻量级 MoE-LoRA 端侧个性化适配,并通过权重复用显著降低内存访问开销与推理能耗。

来源:arXiv 机器学习 · arxiv.org