arXiv 自然语言处理· LLM-jp, :, Chaoran Liu, Daisuke Kawahara, Hideyuki Tachibana, Hirokazu Kiyomaru, Jun Suzuki, Koshi Eguchi, Kouta Nakayama, Qianying Liu, Rio Yokota, Ryo Takahashi, Sadao Kurohashi, Sosuke Hosokawa, Taishi Nakamura, Takashi Kodama, Yun-Ang Wu, Yusuke Miyao, Yusuke Oda·· 8 小时前AI 评分45
LLM-jp-4 技术报告
LLM-jp-4 Technical Report
AI 导读
LLM-jp 发布日本主权大语言模型系列 LLM-jp-4，包含 8B 稠密模型与 32B-A3B MoE 模型，均在约 12 trillion tokens 上从头训练。评测显示其性能较前代模型显著提升，表现可匹敌同等规模的开源权重模型。团队公开了数据筛选与开发流程以支持独立复现，33B 稠密模型的结果将在后续修订版本中补充。
来源：arXiv 自然语言处理 · arxiv.org