Research on D3QN Path Planning Method of Mobile Robot Priority Sampling

近年来，以DQN（Deep Q-Network）为代表的人工智能技术在路径规划领域中广泛应用。为了解决传统DQN方法存在收敛速度较慢的问题，本文提出一种端到端的D3QN-PER（Dueling Deep Double Q-Network Prioritized Experience Replay）路径规划方法。首先，在感知端引入长短时记忆网络（Long Short-Term Memory），障碍物状态信息作为输入，进行取舍后储存在隐藏层，再转换成固定长度的向量和机器人自身状态向量输入至D3QN网络，提高记忆和认知障碍物的能力。然后，采用优先经验回放机制（Prioritized Experience Replay，PER）对经验池抽取小批量样本，保证样本多样性的同时提高重要样本的利用率，获取更加精确的Q值。最后，通过3个不同仿真场景进行验证，分别对DQN、DDQN、D3QN、D3QN-PER展开训练，实验结果表明，与其他方法相比，D3QN-PER的收敛速度比DQN算法提高56%，而且到达目标点的次数更多，可证明该方法在未知环境中可以更好地获取最优路径。