arXiv 人工智能· Junxi Wu, Yiwen Guo, Shu-Tao Xia·· 8 小时前AI 评分44
SelfMorph：冻结大语言模型内部计算的自适应形变
Compute Has Shape: Self-Morphing the Internal Computation of Frozen LLMs
AI 导读
SelfMorph 将冻结大语言模型的内部计算拓扑转化为依赖输入的推理决策，统一了基础前向传播、层复用以及隐藏状态分支合并三种形态。在覆盖 4B-27B 参数的 3 款大语言模型评估中，该方法在 5 个分布内基准上平均相对提升 8.06%，在 4 个未见基准上提升 4.45%，并在 27 个设置中的 24 个取得最佳表现。相关代码已开源。
来源：arXiv 人工智能 · arxiv.org