arXiv 机器学习· Qi Xu, Zijie Lei, Zhifei Deng, Zhigang Hua, Luke Simon·2026-10-27 12:00· 1 天前AI 评分28

预训练模型容量何时有助于因果学习？从标量预测到反事实后训练

When Does Pre-Trained Capacity Help Causal Learning? From Scalar Prediction to Counterfactual Post-Training

AI 导读

基于 Qwen 2.5 的研究表明，主干模型从 0.5B 增至 1.5B 可大幅改善反事实生成，但因果标量估计表现参差不齐。在 CausalGen 系统中，模型扩容使 CodeGen pass@1 从 0.267 升至 0.575，处理效应得分从 0.231 升至 0.515。

来源：arXiv 机器学习 · arxiv.org