当前位置： 首页 > news >正文

跟李沐学AI：长短期记忆网络LSTM

news 来源：原创 2024/9/21 21:58:54

输入们、遗忘门和输出门

LSTM引入输入门、忘记门和输出门

输入门计算公式为：\sigma(X_tW_{xi}+H_{t-1}W_{h1}+b_i)。

遗忘门计算公式为：\sigma(X_tW_{xf}+H_{t-1}W_{hf}+b_f)。

输出门计算公式为：\sigma(X_tW_{xo}+H_{t-1}W_{ho}+b_o)。

 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在(0,1)的范围内。

候选记忆元

类似RNN中的H_t，计算公式为：\widetilde{C_t}=tanh(X_tW_{xc}+H_{t-1}W_{hc}+b_c)。

记忆元

LSTM中，输入门和遗忘门类似GRU中控制输入或遗忘的机制。输入们用于控制采用多少来自\widetilde{C_t}的新数据，遗忘门用于控制保留多少过去的记忆元C_{t-1}的内容。随后按元素乘法，得出C_t=F_t\odot C_{t-1} + T_t\odot \widetilde{C_t}。

如果遗忘门始终为1且输入门始终为0， 则过去的记忆元Ct−1 将随时间被保存并传递到当前时间步。 引入这种设计是为了缓解梯度消失问题， 并更好地捕获序列中的长距离依赖关系。

隐状态 

LSTM中，输出门用于计算隐状态：H_t=O_t \odot tanh(C_t)。只要输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 个人用户如何有效利用固态硬盘数据恢复工具
  • 开源Devops工具-Ansible
  • 【Python】05.Python 中的列表与元组
  • Oracle（120）如何创建和管理备份策略？
  • Flutter 中的低功耗蓝牙概述
  • 【C#生态园】从正则表达式到Excel操作：全面解析这六款C#库的核心功能和应用
  • NISP 一级 | 3.4 无线局域网安全防护
  • 使用C++11的`std::future`和`std::promise`实现异步网络通信
  • 14_L3缓存友好的数据结构
  • windows服务管理插件 nssm
  • StackTrace在.Net中获取当前线程的堆栈跟踪信息
  • 深入探索Go语言中的函数：匿名函数、指针参数与函数返回
  • Spring Cloud（一）
  • React第四章(babel)
  • python知识点100篇系列（17）-替换requests的python库httpx
  • JS 中的深拷贝与浅拷贝
  • [译] 理解数组在 PHP 内部的实现（给PHP开发者的PHP源码-第四部分）
  • 【翻译】babel对TC39装饰器草案的实现
  • Android优雅地处理按钮重复点击
  • Apache Spark Streaming 使用实例
  • Fabric架构演变之路
  • GDB 调试 Mysql 实战（三）优先队列排序算法中的行记录长度统计是怎么来的（上）...
  • Laravel Telescope：优雅的应用调试工具
  • leetcode378. Kth Smallest Element in a Sorted Matrix
  • Linux编程学习笔记 | Linux多线程学习[2] - 线程的同步
  • Puppeteer：浏览器控制器
  • Python - 闭包Closure
  • SpriteKit 技巧之添加背景图片
  • WePY 在小程序性能调优上做出的探究
  • 等保2.0 | 几维安全发布等保检测、等保加固专版 加速企业等保合规
  • 对超线程几个不同角度的解释
  • 飞驰在Mesos的涡轮引擎上
  • 关于字符编码你应该知道的事情
  • 基于HAProxy的高性能缓存服务器nuster
  • 那些被忽略的 JavaScript 数组方法细节
  • 区块链分支循环
  • 问题之ssh中Host key verification failed的解决
  • 小程序上传图片到七牛云（支持多张上传，预览，删除）
  • 一道闭包题引发的思考
  • 正则与JS中的正则
  • 最近的计划
  • ［地铁译］使用SSD缓存应用数据——Moneta项目: 低成本优化的下一代EVCache ...
  • AI算硅基生命吗，为什么？
  • 大数据全解：定义、价值及挑战
  • ​ 轻量应用服务器：亚马逊云科技打造全球领先的云计算解决方案
  • ​LeetCode解法汇总518. 零钱兑换 II
  • #Lua：Lua调用C++生成的DLL库
  • （~_~)
  • （C语言）逆序输出字符串
  • （k8s）Kubernetes 从0到1容器编排之旅
  • (Spark3.2.0)Spark SQL 初探： 使用大数据分析2000万KF数据
  • （备忘）Java Map 遍历
  • （二）Eureka服务搭建，服务注册，服务发现
  • （论文阅读22/100）Learning a Deep Compact Image Representation for Visual Tracking
  • （七）理解angular中的module和injector，即依赖注入