学习与思考

把零散知识整理成可以回到的路径

附3:激活函数的作用

附3:激活函数的作用

一、先用数学看「为什么多层 = 一层」

假设一个简单的全连接层(无激活函数) :

  • 第 1 层:

  • 第 2 层:

把第一层代入第二层:

👉 看到没?

最终结果仍然是:

这和一个单层线性模型完全一样!

✅ 无论你叠 2 层、10 层、100 层,只要没有非线性激活函数,整个网络永远可以合并成一个矩阵乘法 + 偏置 —— 也就是一个线性变换。


二、如果有激活函数呢?

现在在第 1 层后加一个非线性激活函数 f(⋅) (如 ReLU):

这时你不能再把两层合并成一个 ,因为:

🔑 线性变换的复合仍是线性,但 非线性∘线性 破坏了这个性质

网络开始具备拟合曲线、边界、复杂图案的能力。


三、直观比喻 🌰

❌ 没有激活函数 → 只会「拉伸 / 旋转 / 平移」

想象你在看世界 through 只许用:

  • 放大缩小
  • 倾斜
  • 平移

不管你叠多少层”镜片”,看到的还是一条直线性的投影 —— 本质没变。

✅ 有激活函数 → 允许「弯折 / 开关 / 折叠」

激活函数就像给某层加了:

  • “小于 0 就砍掉”(ReLU)
  • “压到 0~1 之间”(Sigmoid)

这相当于把直线弯折,多层弯折组合 → 可以逼近任意复杂形状(Universal Approximation Theorem)。


四、一句话总结

没有激活函数,深度网络只是「看起来深」,数学上等价于一个单层线性回归;激活函数才是让「深度」真正有意义的东西。

文档关系

反向引用

0%