跳到正文
热点事件持续更新

研究人员提出Speech-to-LLM桥接正则化方法LPR

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

针对Speech-to-LLM系统的接口兼容性问题,研究人员提出了一种面向桥接预训练的轻量训练正则化方法——局部原型重构(LPR)。LPR要求每个对齐的bridge token能够由冻结LLM token嵌入向量的小邻域进行重构,以保障局部词汇流形的兼容性。在多语言自动语音识别(ASR)与语音翻译评测中,LPR显著增强了模型的迁移能力,并在翻译和低资源适配任务中取得了最大收益。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv 自然语言处理
    面向文本兼容 Speech-to-LLM 桥接预训练的局部原型重构(LPR)

    针对 Speech-to-LLM 系统的接口兼容性问题,研究人员提出了轻量训练正则化方法局部原型重构(LPR)。LPR 要求每个对齐的 bridge token 可由冻结 LLM token 嵌入向量的小邻域重构,以保障局部词汇流形兼容性。在多语言 ASR 与语音翻译评测中,LPR 显著提升了迁移能力,并在翻译和低资源适配任务上取得最大收益。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。