当前位置： 首页 > news >正文

Value-Based Reinforcement Learning（2）

news 来源：原创 2024/9/29 17:29:53

Temporal Difference （TD） Learning

上节已经提到了如果我们有DQN，那么agent就知道每一步动作如何做了，那么DQN如何训练那？这里面使用TD算法。

简略分析：

U_{t} = R_t +\gamma R_{t+1} +\gamma ^2R_{t+2} + \gamma^3R_{t+3} + ... \newline U_t = R_t + \gamma U_{t+1}

Q(s_t, a_t;w)是E(U_t)的估计

Q(s_{t+1}, a_{t+1}; w)是E(U_{t+1})的估计

所以：

Deep Reinforcement Learning :  Q(s_t, a_t; w) \approx r_t + \gamma * Q(s_{t+1}, a_{t+1}; w)

Prediction  ： Q(s_t, a_t;w_t)

TD Target : y_t = r_t + \gamma Q(s_{t+1}, a_{t+1};w_t)

Loss ： L_t = 1/2 [Q(s_t, a_t;w_t) - y_t]^2

Gradient Desent : w_{t+1} = w_{t}- \alpha \frac{\partial L_t}{\partial w}|w=w_t，做梯度下降是为了让loss减少

相关文章：

  • 2024.5.26.python.exercise
  • pod 之资源限制 与健康检查
  • Vue项目中npm run build 卡住不执行的几种情况(实战版)
  • P2118 [NOIP2014 普及组] 比例简化
  • Spring从零开始学使用系列（四）之@PostConstruct和@PreDestroy注解的使用
  • 化学中的不确定性。
  • 人工智能+量子计算：飞跃现实边界还是科技幻想？
  • java网络：过滤器修改请求头
  • 一、Elasticsearch介绍与部署
  • 【知识拓展】LocalTunnel-高性价比的内网穿透工具（2）
  • matplotlib latex表格
  • 每日一题---有效的括号问题
  • 双指针用法练习题（2024/5/26）
  • 通过unsplash引入图片素材
  • 小程序的深层了解
  • 2017届校招提前批面试回顾
  • Java比较器对数组，集合排序
  • java第三方包学习之lombok
  • Laravel 中的一个后期静态绑定
  • Mac转Windows的拯救指南
  • markdown编辑器简评
  • Netty源码解析1-Buffer
  • Solarized Scheme
  • Spring Cloud Alibaba迁移指南（一）：一行代码从 Hystrix 迁移到 Sentinel
  • 前端面试之CSS3新特性
  • 深入浏览器事件循环的本质
  • 时间复杂度与空间复杂度分析
  • 用Python写一份独特的元宵节祝福
  • 主流的CSS水平和垂直居中技术大全
  • 如何正确理解，内页权重高于首页？
  • #git 撤消对文件的更改
  • （1）(1.9) MSP (version 4.2)
  • （aiohttp-asyncio-FFmpeg-Docker-SRS）实现异步摄像头转码服务器
  • （JSP）EL——优化登录界面，获取对象，获取数据
  • （k8s）Kubernetes本地存储接入
  • （STM32笔记）九、RCC时钟树与时钟 第二部分
  • （带教程）商业版SEO关键词按天计费系统：关键词排名优化、代理服务、手机自适应及搭建教程
  • (二)原生js案例之数码时钟计时
  • （附源码）ssm高校运动会管理系统 毕业设计 020419
  • （介绍与使用）物联网NodeMCUESP8266（ESP-12F）连接新版onenet mqtt协议实现上传数据（温湿度）和下发指令（控制LED灯）
  • （蓝桥杯每日一题）love
  • （牛客腾讯思维编程题）编码编码分组打印下标题目分析
  • （四）模仿学习-完成后台管理页面查询
  • (未解决)jmeter报错之“请在微信客户端打开链接”
  • （原创）boost.property_tree解析xml的帮助类以及中文解析问题的解决
  • (转)Google的Objective-C编码规范
  • (转）可以带来幸福的一本书
  • .htaccess配置常用技巧
  • .NET CLR基本术语
  • .Net Core 生成管理员权限的应用程序
  • .net 调用海康SDK以及常见的坑解释
  • .NET/MSBuild 中的发布路径在哪里呢？如何在扩展编译的时候修改发布路径中的文件呢？
  • .NET框架类在ASP.NET中的使用(2) ——QA
  • @RunWith注解作用
  • [20170705]diff比较执行结果的内容.txt