189 8069 5689

用Q-learning算法实现自动走迷宫机器人的方法示例-创新互联

项目描述:

站在用户的角度思考问题,与客户深入沟通,找到巴彦淖尔网站设计与巴彦淖尔网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、成都网站建设、外贸网站建设、企业官网、英文网站、手机端网站、网站推广、域名与空间、虚拟空间、企业邮箱。业务覆盖巴彦淖尔地区。

在该项目中,你将使用强化学习算法,实现一个自动走迷宫机器人。

如上图所示,智能机器人显示在右上角。在我们的迷宫中,有陷阱(红色×××)及终点(蓝色的目标点)两种情景。机器人要尽量避开陷阱、尽快到达目的地。

小车可执行的动作包括:向上走 u、向右走 r、向下走 d、向左走l

执行不同的动作后,根据不同的情况会获得不同的奖励,具体而言,有以下几种情况。

  • 撞到墙壁:-10
  • 走到终点:50
  • 走到陷阱:-30
  • 其余情况:-0.1

我们需要通过修改 robot.py 中的代码,来实现一个 Q Learning 机器人,实现上述的目标。

Section 1 算法理解

1.1 强化学习总览

强化学习作为机器学习算法的一种,其模式也是让智能体在“训练”中学到“经验”,以实现给定的任务。但不同于监督学习与非监督学习,在强化学习的框架中,我们更侧重通过智能体与环境的交互来学习。通常在监督学习和非监督学习任务中,智能体往往需要通过给定的训练集,辅之以既定的训练目标(如最小化损失函数),通过给定的学习算法来实现这一目标。然而在强化学习中,智能体则是通过其与环境交互得到的奖励进行学习。这个环境可以是虚拟的(如虚拟的迷宫),也可以是真实的(自动驾驶汽车在真实道路上收集数据)。

在强化学习中有五个核心组成部分,它们分别是:环境(Environment)、智能体(Agent)、状态(State)、动作(Action)和奖励(Reward)。在某一时间节点t:

智能体在从环境中感知其所处的状态用Q-learning算法实现自动走迷宫机器人的方法示例

智能体根据某些准则选择动作 用Q-learning算法实现自动走迷宫机器人的方法示例

环境根据智能体选择的动作,向智能体反馈奖励 用Q-learning算法实现自动走迷宫机器人的方法示例

通过合理的学习算法,智能体将在这样的问题设置下,成功学到一个在状态 用Q-learning算法实现自动走迷宫机器人的方法示例选择动作 用Q-learning算法实现自动走迷宫机器人的方法示例的策略 用Q-learning算法实现自动走迷宫机器人的方法示例

1.2 计算Q值

在我们的项目中,我们要实现基于 Q-Learning 的强化学习算法。Q-Learning 是一个值迭代(Value Iteration)算法。与策略迭代(Policy Iteration)算法不同,值迭代算法会计算每个”状态“或是”状态-动作“的值(Value)或是效用(Utility),然后在执行动作的时候,会设法大化这个值。因此,对每个状态值的准确估计,是我们值迭代算法的核心。通常我们会考虑大化动作的长期奖励,即不仅考虑当前动作带来的奖励,还会考虑动作长远的奖励。

在 Q-Learning 算法中,我们把这个长期奖励记为 Q 值,我们会考虑每个 ”状态-动作“ 的 Q 值,具体而言,它的计算公式为:

也就是对于当前的“状态-动作” 用Q-learning算法实现自动走迷宫机器人的方法示例,我们考虑执行动作 用Q-learning算法实现自动走迷宫机器人的方法示例后环境给我们的奖励用Q-learning算法实现自动走迷宫机器人的方法示例,以及执行动作 用Q-learning算法实现自动走迷宫机器人的方法示例 到达 用Q-learning算法实现自动走迷宫机器人的方法示例后,执行任意动作能够获得的大的Q值用Q-learning算法实现自动走迷宫机器人的方法示例用Q-learning算法实现自动走迷宫机器人的方法示例为折扣因子。

不过一般地,我们使用更为保守地更新 Q 表的方法,即引入松弛变量 alpha,按如下的公式进行更新,使得 Q 表的迭代变化更为平缓。

根据已知条件求用Q-learning算法实现自动走迷宫机器人的方法示例

已知:如上图,机器人位于 s1,行动为 u,行动获得的奖励与题目的默认设置相同。在 s2 中执行各动作的 Q 值为:u: -24,r: -13,d: -0.29、l: +40,γ取0.9。

1.3 如何选择动作

在强化学习中,「探索-利用」问题是非常重要的问题。具体来说,根据上面的定义,我们会尽可能地让机器人在每次选择最优的决策,来大化长期奖励。但是这样做有如下的弊端:

  • 在初步的学习中,我们的 Q 值会不准确,如果在这个时候都按照 Q 值来选择,那么会造成错误。
  • 学习一段时间后,机器人的路线会相对固定,则机器人无法对环境进行有效的探索。

因此我们需要一种办法,来解决如上的问题,增加机器人的探索。由此我们考虑使用 epsilon-greedy 算法,即在小车选择动作的时候,以一部分的概率随机选择动作,以一部分的概率按照最优的 Q 值选择动作。同时,这个选择随机动作的概率应当随着训练的过程逐步减小。

在如下的代码块中,实现 epsilon-greedy 算法的逻辑,并运行测试代码。

import random 
import operator 

actions = ['u','r','d','l'] 
qline = {'u':1.2, 'r':-2.1, 'd':-24.5, 'l':27} 
epsilon = 0.3 # 以0.3的概率进行随机选择 

def choose_action(epsilon):     
  action = None 
   if random.uniform(0,1.0) <= epsilon: # 以某一概率 
    action = random.choice(actions)# 实现对动作的随机选择 
   else:  
     action = max(qline.items(), key=operator.itemgetter(1))[0] # 否则选择具有大 Q 值的动作 
   return action 

文章名称:用Q-learning算法实现自动走迷宫机器人的方法示例-创新互联
文章分享:http://jkwzsj.com/article/dpphce.html

其他资讯