arXiv 自然语言处理· Oliver Giudice, Anna Russo Russo·· 2 小时前AI 评分30
基于 KAN 的嵌入层压缩非线性分解方法
A KAN-based Non-linear Factorization for Embedding Layer Compression
AI 导读
研究人员提出基于 KAN 的非线性分解方案，通过引入可学习非线性投影压缩嵌入层，克服传统低秩分解的线性瓶颈。在 Skip-gram 框架及 Word Analogy、Semantic Similarity 基准测试中，该方法配合预训练初始化与知识蒸馏，在相同参数预算下实现了更保真的嵌入表征。
来源：arXiv 自然语言处理 · arxiv.org