24/8/18算法笔记 目标导向强化学习
目标导向强化学习（Goal-Oriented Reinforcement Learning，简称GORL）是强化学习的一个分支，它关注于智能体如何通过与环境的交互来实现特定的目标或任务。与传统的强化学习不同，目标导向强化学习更加关注目标的设定和达成，而不是简单地最大化累积奖励。以下是目标导向强化学习的一些关键特点：
-
目标设定：在目标导向强化学习中，每个任务都有一个明确的目标，智能体需要学习如何达成这些目标。
-
目标表示：目标可以以不同的方式表示，例如状态向量、状态的子集、特定的状态标签或属性等。
-
策略学习：智能体需要学习一个策略，该策略能够根据当前状态和目标来选择最佳的动作。
-
探索与利用：智能体在学习过程中需要平衡探索（发现新的目标达成方式）和利用（使用已知的有效策略）。
-
多样性：目标导向强化学习鼓励智能体学习多种达成目标的方式，以适应不同的环境条件或初始状态。
-
泛化能力：智能体应该具备一定的泛化能力，能够在不同的目标或类似的任务中使用学到的知识。
-
奖励结构：奖励函数通常与目标紧密相关，智能体根据接近目标的程度来获得奖励。
-
学习效率：目标导向强化学习通常需要更少的探索，因为智能体可以专注于达成特定的目标，而不是在状态空间中随机游走。
-
应用领域：目标导向强化学习在机器人导航、自动驾驶、游戏AI等领域有广泛的应用。
-
算法实现：实现目标导向强化学习算法时，可以使用多种技术，如将目标作为额外的状态特征输入到策略网络中，或者使用目标引导的探索策略等。
#定义游戏环境
import torch
import random
import numpy as np
random.seed(0)
torch.manual_seed(0)#创建一个游戏环境
class Env:def reset(self):#前两个数是起点，后两个数是终点self.state = torch.zeros(4)self.state[2] = random.uniform(3.5,4.5)self.state[3] = random.uniform(3.5,4.5)self.count = 0return self.state.tolist()def step(self,action):action = torch.FloatTensor(action).reshape(2)#裁剪动作范围action = torch.clamp(action,min=-1,max = 1)#执行动作self.state[:2] +=action#规范状态空间self.state[:2] = torch.clamp(self.state[:2],min = 0,max = 5)self.count+=1#求二范数，求两向量相减之后的向量的模长#两向量相减的几何意义是两个向量的尾部相连，再连接两个头部形成的新向量#mod = ((self.state - self.goal)**2).sum()**0.5mod = (self.state[:2] - self.state[2:]).norm(p=2).item()reward = -1.0over = Falseif mod <=0.15:reward = 0.0over =Trueif self.count>=50:over =Truereturn self.state.tolist(),reward,overenv = Env()print(env.reset())
env.step([0.1,0.2])
定义DDPG模型，代码省略http://t.csdnimg.cn/2wml3
#初始化DDPG模型
ddpg = DDPG()
ddpg.train(torch.randn(200,4),troch.randn(200,2),troch.randn(200,1),troch.randn(200,4),troch.zeros(200,1).long(),
)
ddpg.get_action([1,2,3,4])定义data update函数
class Data():def __init__(self):self.datas = []def __len__(self):return len(self.datas)def update(self):state = env.reset()pvere =Falsedata = {'state' : [],'action':[],'reward' :[],'next_state':[],'over':[],}while not over:action = ddpg.get_action(state)next_state,reward,over = env.step(action)data['state'].append(state)data['action'].append(action)data['reward'].append(reward)data['next_state'].append(next_state)data['over'].append(over)state = next_stateself.datas.append(data)#Data采样函数 def get_sample(self):#采样结果sample = {'state' : [],'action':[],'reward' :[],'next_state':[],'over':[],}#采样N个数据for _ in range(256):#随机一局游戏data = random.sample(self.datas,1)[0]#随机游戏中的一步，这里除了最后一步step = random.randint(0,len(data['action'])-2)#提取数据state = data['state'][step]next_state = date['next_state'][step]action = data['action'][step]reward = data['reward'][step]over = data['over'][step]#设置fake goalif random.random()<=0.8:#随机选择step后面的某一步step = random.randin(step+1,len(date['action'])-1)#以后面某个步的状态为一个伪的终点，也就是希望先走到这里再说fake_goal = data['state'][step][:2]#求二范数mod = [next_state[0]-fake_goal[0],next_state[1]-fake_goal[1]]mod = torch.FloatTensor(mod).norm(p=2).item()#再自己重新计算reward和overreward = -1.0over =Falseif mod <=0.15:reward = 0.0over = True#以伪终点构建新的statestate[2] = fake_goal[0]state[3] = fake_goal[1]next_state[2] = fake_goal[0]next_state[2] = fake_goal[1]sample['state'].append(state)sample['action'].append(action)sample['reward'].append(reward)sample['next_state'].append(next_state)sample['over'].append(over)sample['state'] = torch.FloatTensor(sample['state']).reshape(-1,4)sample['action'] = torch.FloatTensor(sample['action']).reshape(-1,2)sample['reward'] = torch.FloatTensor(sample['reward']).reshape(-1,1)sample['next_state'] = torch.FloatTensor(sample['next_state']).reshape(-1,4)sample['over'] = torch.FloatTensor(sample['over']).reshape(-1,1)return sample#计算最后10个数据reward_sum的值def get_last_reward_mean(self):reward_sum = []for data in self.datas[-10:]:reward_sum.append(sum(data['reward']))return sum(reward_sum)/len(reward_sum)初始化Data对象
data = Data()#初始化数据
for _ in range(200):data.update()
data.get_sample(),data.get_last_reward_mean()训练
for i in range(1800):data.update()for _ in range(20):ddpg.train(**data.get_sample())if i% 100==0:print(i,len(data,data.get_last_reward_mean())