arXiv 自然语言处理· Sai Kiran Bathula·· 5 小时前AI 评分48
嵌入层过于昂贵？用于小型与三值语言模型的 16 MB 冻结词表
Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
AI 导读
研究人员提出用 16 MB 的 512-bit 冻结编码表替代小型语言模型中庞大的嵌入表，完全无需可训练参数。
来源：arXiv 自然语言处理 · arxiv.org