当前位置： 首页 > news >正文

【机器学习300问】64、简写出常见的激活函数及其导数？

news 来源：原创 2024/5/22 3:53:09

        在机器学习特别是深度学习中，激活函数是用于增加模型的非线性特性。对于一个给定的输入信号，激活函数定义了输出信号的形式。以下是一些常见的激活函数及其导数：

一、Sigmoid函数

函数

\sigma(x) = \frac{1}{1 + e^{-x}}

导数

\sigma'(x) = \sigma(x)(1 - \sigma(x))

二、Tanh双曲正切函数

函数

\tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}

导数

\tanh'(x) = 1 - \tanh^2(x)

三、ReLU线性整流单元函数

函数

ReLU(x) = \max(0, x)

导数

ReLU'(x) = \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ undefined & \text{if } x = 0 \end{cases}

        ReLU函数在( x = 0 )处导数不明确是因为实际使用中通常不会发生计算问题，并且在实现时通常会返回0或1。 

四、Leaky ReLU函数

函数

LeakyReLU(x) = \begin{cases} \alpha x & \text{if } x < 0 \\ x & \text{if } x \geq 0 \end{cases}

其中α是一个小常数 

导数

LeakyReLU'(x) = \begin{cases} \alpha & \text{if } x < 0 \\ 1 & \text{if } x \geq 0 \end{cases}

五、Softmax函数

函数（对第i个输入）

\text{Softmax}(x)_i = \frac{e^{x_i}}{\sum\limits_{j} e^{x_j}}

导数（对第i个输入）

\text{Softmax}'(x)_i = \text{Softmax}(x)_i \cdot (1 - \text{Softmax}(x)_i)

        Softmax函数的导数较为复杂，这里的表述为了简单化并未展现交叉项。在实际计算梯度时，需要考虑Softmax输出之间的相互作用。对于其他输入( j \neq i )，导数会涉及到Softmax输出的相互关系。 

相关文章：

  • Flutter入门指南
  • 使用Mac自带终端进行远程ssh连接Linux服务器
  • opencv+python(二值化图像)
  • 如何在HarmonyOS（鸿蒙操作系统）上进行应用开发
  • django celery 异步任务 异步存储
  • gitlab、jenkins安装及使用文档二
  • 安装 FFmpeg
  • 二、显示图片、提取边缘特征并保存（C# + OpenCV）
  • java Web在线考试管理系统用eclipse定制开发mysql数据库BS模式java编程jdbc
  • 【golang】动态生成微信小程序二维码实战下：golang 生成 小程序二维码图片 并通过s3协议上传到对象存储桶 | 腾讯云 cos
  • 在Vivado Design Suite中使用place_design 命令进行布局优化
  • 开源铱塔切换MySQL数据库启动报异常
  • CREATE TABLE ... AS SELECT 与 CREATE TABLE ... LIKE 的相同点和不同点
  • 【攻防世界】Confusion1
  • 【开源书籍】深入讲解内核网络、Kubernetes、ServiceMesh、容器等云原生相关技术。
  • 《Javascript高级程序设计 (第三版)》第五章 引用类型
  • 【前端学习】-粗谈选择器
  • Bootstrap JS插件Alert源码分析
  • canvas 五子棋游戏
  • Hibernate最全面试题
  • iOS动画编程-View动画[ 1 ] 基础View动画
  • Java读取Properties文件的六种方法
  • Otto开发初探——微服务依赖管理新利器
  • Puppeteer：浏览器控制器
  • Quartz初级教程
  • Service Worker
  • 浮现式设计
  • 简析gRPC client 连接管理
  • 蓝海存储开关机注意事项总结
  • 思考 CSS 架构
  • 想晋级高级工程师只知道表面是不够的！Git内部原理介绍
  • 小试R空间处理新库sf
  • 因为阿里，他们成了“杭漂”
  • 如何正确理解，内页权重高于首页？
  • ​​​​​​​Installing ROS on the Raspberry Pi
  • ​LeetCode解法汇总1410. HTML 实体解析器
  • ​LeetCode解法汇总2182. 构造限制重复的字符串
  • (cos^2 X）的定积分,求积分 ∫sin^2(x) dx
  • （Matalb回归预测）PSO-BP粒子群算法优化BP神经网络的多维回归预测
  • （ZT）出版业改革：该死的死，该生的生
  • （安卓）跳转应用市场APP详情页的方式
  • (办公)springboot配置aop处理请求.
  • （第二周）效能测试
  • （附源码）ssm学生管理系统 毕业设计 141543
  • (强烈推荐)移动端音视频从零到上手（上）
  • （算法）求1到1亿间的质数或素数
  • ******IT公司面试题汇总+优秀技术博客汇总
  • **PyTorch月学习计划 - 第一周；第6-7天: 自动梯度（Autograd）**
  • .NET 读取 JSON格式的数据
  • .NET与 java通用的3DES加密解密方法
  • .net专家（高海东的专栏）
  • @Responsebody与@RequestBody
  • [ACL2022] Text Smoothing: 一种在文本分类任务上的数据增强方法
  • [Avalon] Avalon中的Conditional Formatting.
  • [C++核心编程]（四）：类和对象——封装