学习与思考

把零散知识整理成可以回到的路径

ReLU激活函数出现神经元死亡

ReLU激活函数出现神经元死亡

Unknown environment 'cases'

2026-06-03_15-20-432026-06-03_15-20-49

  • 与Sigmoid激活函数相比,ReLU在 部分消除了梯度饱和效应”,且ReLU的计算更简单,计算速度更快
  • 但ReLU本身也存在缺陷,如果输入为负值,其梯度等于0,导致“神经元死亡”,将无法进行权重更新,进而无法完成网络训练。
  • 即便如此,ReLU仍然是当前深度学习领域中最为常用的激活函数之一。

文档关系

反向引用

0%