arXiv 自然语言处理· Frederick Riemenschneider, Anette Frank·· 8 小时前AI 评分34
打破对称性走出洞穴:可识别结构可促进跨语言泛化
Leaving the Cave by Breaking the Symmetry: Identifiable Structure Can Enable Cross-Lingual Generalization
AI 导读
研究提出“关系可识别性假说”,揭示共享世界中的关系结构可通过约束对应关系促进实体对齐,从而实现无共享词表下的跨语言泛化。在词表不相交的双语 Transformer 模算术实验中,减法操作能使数字 0 产生选择性对齐,而顺序敏感操作可诱导广泛的跨数字对齐。这种表征对齐模式能够准确预测零样本跨语言迁移的成功。
来源:arXiv 自然语言处理 · arxiv.org