arXiv 机器学习· Chaorui Yao, Yuming Paul Zhang, Lin Yang, Yuhua Zhu·· 2 小时前AI 评分30
基于离散时间离线数据的无模型连续时间强化学习算法及端到端理论保证
A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
AI 导读
研究者提出了基于 PhiBE-Q 的无模型策略迭代框架 PhiBE-PI，仅利用单份离散时间离线数据，无需估计漂移或扩散项即可实现连续时间强化学习。该框架采用单个状态-动作 critic 维持动作排序尺度，在线性函数逼近下给出了局部端到端次优性理论界。分析还揭示了采样间隔缩小虽能改善连续时间逼近，但在固定样本量下会放大统计误差的偏差-方差权衡。
来源：arXiv 机器学习 · arxiv.org