可视化 AI 智能体价值函数中的世界模型

研究人员通过反事实干预方法，探究了 Proximal Policy Optimization 智能体的价值函数是否能在 Crafter 环境中形成世界模型。研究发现，尽管该智能体仅以优化奖励为目标进行训练，其价值函数仍学会了钻石收集规则、水和食物对健康的影响以及物品清单启发式规则等环境概念。作者还探讨了相关可视化的安全意义及现有强化学习智能体的局限性。