arXiv 自然语言处理· Vinko Sabol\v{c}ec, Angelos Katharopoulos, David Grangier·· 4 小时前AI 评分34
有损压缩文本自编码器
Lossy Compressive Text Autoencoders
AI 导读
研究人员提出一种有损压缩文本自编码器架构，通过在时间轴上对隐藏表示进行残差降采样与升采样，并引入残差低维离散瓶颈来学习文本压缩潜表示。该方案在网络文本数据上达到 2.24 bits per byte 的压缩表现，效果与无损压缩算法相当。模型在 BLEU、基于 LLM 的语义评测以及下游问答和语义文本相似度基准上均保持良好性能。
来源：arXiv 自然语言处理 · arxiv.org