arXiv 自然语言处理· Ali Sarabadani, Massimo Piccardi, Mehran Abolhasan, Farzad Tofigh, Ian Zhou, Justin Lipman·2026-10-19 12:00· 7 小时前AI 评分31

FederatedBytes：面向高效多模态联邦学习的免分词字节级小语言模型

FederatedBytes: Tokenizer-Free, Byte-Level Small Language Models for Efficient Multimodal Federated Learning

AI 导读

研究人员提出了免分词的字节级小语言模型 FederatedBytes，用于降低自然语言处理与多模态分析在联邦学习中的计算与通信开销。该模型将文本及图像等输入统一视为字节序列，并通过线性注意力机制降低内存与计算占用。