arXiv 人工智能· Chaofei Hong, Ziyang Chen, Baochen Wang, Christina Yi Jin, Qing Zhang·· 5 小时前AI 评分34
AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构
AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation
AI 导读
研究提出兼容 SFT 的插件 AC-JEPA，通过在双向跨模态预测被掩码的中间状态，解决视觉到符号翻译中配对数据不完美的问题。在 WildMol 基准的 Simple 集评测中，基于干净数据训练的 AC-JEPA 取得 76.07% 准确率，高于单纯 SFT 的 67.40%。在伪标签自训练下，其准确率进一步提升至 80.23%，而直接 SFT 则降至 63.47%。
来源：arXiv 人工智能 · arxiv.org