AI导论作业-强化学习实验

type

status

date

slug

summary

DQN在2048游戏中的应用

使用深度强化学习解决复杂决策问题

DQN在2048游戏中的应用 DQN算法的基本结构初始化神经网络计算损失函数经验回放探索策略算法的整体流程实验结果分析总结与未来展望 Reference

HW-DQN-2048

tjuDavidWang • Updated Nov 3, 2023

[大学牲作业]人工智能导论—DQN在2048上的应用_哔哩哔哩_bilibili

参考资料：[1]Dedieu A, Amar J. Deep reinforcement learning for 2048[C]//Conference on Neural Information Processing Systems (NIPS), 31st, Long Beach, CA, USA. 2017. [2]https://cs.uwaterloo.ca/~mli/zalevine, 视频播放量 3、弹幕量 0、点赞数 1、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者请叫我大胃王哟, 作者简介同济在读大学牲一名个人博客https://wwd.zeabur.app/，相关视频：2^-64~2^1,024播放1 Novemdecillion次，你能借到那个2048方块，【大学牲作业】高级程序语言设计——魔塔，来AI给他整个活！2048 AI 尝试以最低分数结束比赛，2048，但是臭到不能要了(悲)，【大学牲作业】国交期末演讲，谁能截到11USp，2023数学建模美赛记录，特殊模式2048，小数字跑酷比2048好玩还能开盲盒！

https://www.bilibili.com/video/BV1xs4y1q7JH/?spm_id_from=333.999.0.0&vd_source=54848bbaacc95a6670b0f8ac0228b019

DQN算法的基本结构

Deep Q-learning(DQN)是Q-learing和神经网络的结合，利用经验回放来进行强化学习的训练，结构如下：

初始化神经网络

根据输入的特征类型，选择适当的神经网络结构。

输入：一个(4,4，1)的矩阵表示图像上每个格子中的数字(2/4/8/16…) 对于图像输入，采用卷积层，提取图像的局部特征；对于特征输入，采用全连接层。神经网络用来逼近值函数，它的输出表示动作的Q值。输出：(4,1,1)的矩阵，表示往各个方向运动的权重

整个过程：(4,4,1)→(128,3,3)→(64,2,2)→(16,1,1)

神经网络用来逼近值函数，它的输出表示动作的Q值。

值函数（Value Function）用于衡量在特定状态下采取不同动作的价值。对于Q-learning算法，我们使用一个Q函数（Q-function）来估计值函数，即估计每个状态-动作对的价值。

资料

神经网络用来逼近值函数，一般采用全连接层表达特征输入，采用卷积层表达图像输入。其损失函数表达为

γ经验折扣率，γ取0，表示只考虑当下，γ取1，表示只考虑未来。

计算损失函数

DQN算法的损失函数由两部分组成。

首先，根据Q-learning的更新公式，计算目标Q值，即，其中γ为经验折扣率，表示对未来奖励的重要性。

然后，通过神经网络计算当前状态下的预测Q值eval_q = Q(s, a)。损失函数为均方误差（MSE）损失，即。

通过最小化损失函数，DQN算法的目标是逐渐使行为网络的预测Q值接近目标Q值，从而提高智能体的性能。

经验回放

模型与环境交互得到的(s,a,r,s')会存入一个ReplayBuffer，当ReplayBuffer中存储的样本数量超过了批量大小（batch_size）时，就可以从ReplayBuffer中随机采样一批样本用于训练。采用该策略的优点如下：①减少样本之间的相关性，以近似符合独立同分布的假设，通过存储过去的经验样本并随机采样，可以打破时间上的相关性，降低样本之间的相关性。这有助于使训练样本更加独立，避免过多依赖于连续的样本序列。②增大样本的利用率：通过重复使用过去的经验样本，可以增大样本的利用率。由于每次训练都是从Replay Buffer中随机采样，可以多次使用相同的样本进行训练，提高样本的效用。

探索策略

采用贪婪探索策略，agent以ε的概率进行随机探索，以探索环境中的不同动作，其他时间则采取模型计算得到的动作。

ε-decay是一种强化学习策略，用于控制智能体的探索和利用之间的平衡。在策略的开始，智能体以较高的概率（由较高的ε值决定）进行随机动作选择，即更多地进行环境探索。然后，随着时间的推移，ε值会逐渐衰减，降低随机探索的频率，使得智能体更倾向于利用已学到的知识选择最优动作。通过ε-decay策略，智能体能在学习初期广泛地探索环境，然后逐渐转向基于学到的经验进行更有效的决策。

算法的整体流程

初始化深度 Q 网络（behaviour_model）和目标网络（target_model）。如果指定了预训练模型，则加载预训练模型参数。

创建优化器（例如Adam）和损失函数（均方误差）。

在每个时间步： a. 根据当前状态使用贪婪探索策略选择一个动作（使用get_action方法）。 b. 执行选择的动作，观察下一个状态、奖励和游戏是否结束的信息。 c. 将经验存储到经验回放缓冲区中（使用add_transition方法）。 d. 如果经验回放缓冲区中的样本数量大于等于指定的批大小（batch_size）： i. 从经验回放缓冲区中随机采样一批经验（使用get_sample方法）。 ii. 使用这批经验计算损失函数，并通过反向传播算法更新行为网络的参数。 iii. 每隔一定步数（target_update_freq），将行为网络的参数复制给目标网络。

重复步骤3直到达到训练的终止条件（例如达到最大训练步数）。

实验结果分析

log list

根据 current_max_reward 的变化，可以观察到agent在训练过程中游戏奖励的进展。如果 current_max_reward 不断更新并增加，表示代理的性能逐渐提升。然而，如果 current_max_reward 的值保持不变或出现震荡，可能表示agent在某个奖励水平上达到了瓶颈，无法进一步提高。