arXiv 自然语言处理· Roshan Balaji, Pavan Kumar S, Vasudev Gupta, Sreejith N, Keerthana Sridhar, Nirav Bhatt·· 4 小时前AI 评分34
BioBigBird：面向生物医学文本长距离依赖处理的稀疏注意力模型
BioBigBird: A Sparse Attention Model for Long-Range Dependency Processing in Biomedical Text
AI 导读
研究人员推出专为生物医学文本长距离依赖设计的双向语言模型 BioBigBird，利用稀疏注意力机制支持处理长达 4096 tokens 的序列。该模型在大规模生物医学文献和临床数据上预训练，并通过多任务学习框架联合优化命名实体识别与关系抽取。在 BLURB 基准评测中其展现出极具竞争力的表现，模型已公开可用。
来源：arXiv 自然语言处理 · arxiv.org