arXiv 机器学习· Yizhou Zhang, Yashaswini Murthy, Laixi Shi, Adam Vierman·· 21 小时前AI 评分32
网络化平均奖励 MARL 的有限样本收敛：去中心化陷阱与熵正则化改进
Finite-Sample Convergence in Networked Average Reward MARL: Decentralization Pitfalls and Entropy Remedies
AI 导读
研究针对网络化平均奖励 MARL 展开分析，指出智能体仅依赖 $k$-hop 邻域局部更新时，收敛至全局最优联合策略存在不可能定理。为应对去中心化策略优化仅能收敛到驻点的挑战，研究为采用线性函数逼近的去中心化 actor-critic 算法提供了收敛到近似驻点的有限样本保证。研究进一步证明，引入固定状态熵正则化可重塑优化景观，从而实现更强的全局收敛保证。
来源：arXiv 机器学习 · arxiv.org