arXiv 自然语言处理· Sarah Pan, Ali Behrouz·· 5 小时前AI 评分44
Titan-Llama：利用外部神经记忆模块改造预训练 LLM
Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules
AI 导读
研究人员提出 Titan-Llama，这是一种在测试时更新参数的分层记忆架构后训练方法，无需从头预训练即可改造注意力层。在 Llama-3.2-1B-Instruct 评测中，其将 QuALITY 准确率从 23.87% 提升至 40.51%，LongHealth 准确率从 14.50% 提升至 40.75%。
来源：arXiv 自然语言处理 · arxiv.org