本站的目录与文章列表由脚本渲染,开启 JavaScript 可获得完整体验;也可以直接浏览
文章归档
、
学习笔记
、
标签
。
学习与思考
把零散知识整理成可以回到的路径
首页
学习笔记
博客
ReLU激活函数出现神经元死亡
学习笔记
一口气学完CNN的卷积层、池化层、激活函数、全连接层、输出层
附3:激活函数的作用
RELU激活函数出现神经元死亡
ReLU激活函数出现神经元死亡
Unknown environment 'cases'
与Sigmoid激活函数相比,ReLU在
部分消除了梯度饱和效应”,且ReLU的计算更简单,计算速度更快
但ReLU本身也存在缺陷,如果输入为负值,其梯度等于0,导致“神经元死亡”,将无法进行权重更新,进而无法完成网络训练。
即便如此,ReLU仍然是当前深度学习领域中最为常用的激活函数之一。
文档关系
反向引用
学习笔记
一口气学完CNN的卷积层、池化层、激活函数、全连接层、输出层
下一篇
Sigmoid激活函数的梯度饱和效应
↑ 返回 附3:激活函数的作用
⌂ 学习笔记索引
学习笔记
一口气学完CNN的卷积层、池化层、激活函数、全连接层、输出层
附3:激活函数的作用
RELU激活函数出现神经元死亡
0%
Theme NexT works best with JavaScript enabled