当前位置： 首页 > news >正文

GRU算法

news 来源：原创 2024/5/10 3:03:37

目录

结构

update更新门

前置知识：RNN，LSTM

LSTM需要训练的参数很多，极消耗计算资源。GRU是一种LSTM的改进算法，参数更少，更容易训练。

它将忘记门和输入门合并成为一个单一的更新门，同时合并了数据单元状态和隐藏状态，使得模型结构比之于LSTM更为简单。

结构

GRU的整体结构图与RNN没有区别

reset重置门

r_t=\sigma(W_z·[h_{t-1},x_t]+b_r)

rt就是重置门，得到rt后，将rt与上一时刻传入的ht-1进行点乘，得到重置之后的数据，并与xt进行拼接。

h_{t-1}^{'}=h_{t-1}*r_t \\h'=tanh(w*[h_{t-1}',x_t]+b)

h'包含了输入信息xt，经过选择后的上一时刻的信息h't-1，

update更新门

Z_t=\sigma(W_z·[h_{t-1},x_t]+b_z) \\h_t=z_t*h_{t-1}+(1-z_t)*h'

  • z*ht-1：表示对隐藏状态选择性的遗忘；

  • (1-z)*h'：表示对包含当前节点信息的h'选择性的记忆

相关文章：

  • 介绍一下 MVC MVVM
  • 人工智能_机器学习092_使用三维瑞士卷数据_利用分层聚类算法进行瑞士卷数据三维聚类---人工智能工作笔记0132
  • 冰箱温度预测 C语言xdoj47
  • RLHF几大常用框架实践对比（trlx、deepspeedchat、colossalaichat）
  • SpringBoot灵活集成多数据源(定制版)
  • 【以题代复习】计算机网络 第三章
  • Debian安装k8s记录
  • Jenkins分布式实现: 构建弹性和可扩展的CI/CD环境！
  • 基于OpenAI的Whisper构建的高效语音识别模型：faster-whisper
  • 【教程】Typecho Joe主题开启并修复壁纸相册不显示问题
  • mongodb基本命令操作
  • OpenHarmony之消息机制实现
  • 将PPT4页并排成1页
  • 全志F1C100s Linux 系统编译出错：不能连接 github
  • 计算机基础面试题 |11.精选计算机基础面试题
  • C++回声服务器_9-epoll边缘触发模式版本服务器
  • css选择器
  • eclipse的离线汉化
  • Java 最常见的 200+ 面试题：面试必备
  • MYSQL如何对数据进行自动化升级--以如果某数据表存在并且某字段不存在时则执行更新操作为例...
  • Mysql数据库的条件查询语句
  • Python - 闭包Closure
  • Theano - 导数
  • vue.js框架原理浅析
  • 案例分享〡三拾众筹持续交付开发流程支撑创新业务
  • 海量大数据大屏分析展示一步到位：DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践...
  • 使用iElevator.js模拟segmentfault的文章标题导航
  • 使用putty远程连接linux
  • 腾讯大梁：DevOps最后一棒，有效构建海量运营的持续反馈能力
  • 通过获取异步加载JS文件进度实现一个canvas环形loading图
  • 限制Java线程池运行线程以及等待线程数量的策略
  • 学习ES6 变量的解构赋值
  • 译有关态射的一切
  • ###STL(标准模板库)
  • #AngularJS#$sce.trustAsResourceUrl
  • #stm32驱动外设模块总结w5500模块
  • (07)Hive——窗口函数详解
  • （2）STL算法之元素计数
  • （Arcgis）Python编程批量将HDF5文件转换为TIFF格式并应用地理转换和投影信息
  • （C）一些题4
  • (Demo分享)利用原生JavaScript-随机数-实现做一个烟花案例
  • （八）Spring源码解析：Spring MVC
  • (非本人原创)我们工作到底是为了什么？​——HP大中华区总裁孙振耀退休感言（r4笔记第60天)...
  • (分享)自己整理的一些简单awk实用语句
  • (官网安装) 基于CentOS 7安装MangoDB和MangoDB Shell
  • （亲测有效）解决windows11无法使用1500000波特率的问题
  • （数据结构）顺序表的定义
  • （转）淘淘商城系列——使用Spring来管理Redis单机版和集群版
  • ./indexer: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object fil
  • .h头文件 .lib动态链接库文件 .dll 动态链接库
  • .Net Remoting(分离服务程序实现) - Part.3
  • .NET Standard 的管理策略
  • .NET Standard、.NET Framework 、.NET Core三者的关系与区别？
  • .NET 中让 Task 支持带超时的异步等待
  • .NET构架之我见