跳到正文
原文
arXiv 人工智能· Francesco I. Re, Shubhangi Ghosh, Tim Vieira, Ryan Cotterell·· 3 小时前AI 评分34

利用势函数估计自回归语言模型的期望

Estimating great expectations under autoregressive language models with potentials

AI 导读

研究人员提出一种利用势函数(potentials)高效估计自回归语言模型测试泛函期望的方法。该方法通过在词缀上定义实值势函数加性分解测试泛函,并结合采样中生成的下一个 token 条件概率构建估计器。实验表明,该方法在相近计算成本下显著降低了多种被估量的方差。

来源:arXiv 人工智能 · arxiv.org