附3:激活函数的作用
一、先用数学看「为什么多层 = 一层」
假设一个简单的全连接层(无激活函数) :
第 1 层:
第 2 层:
把第一层代入第二层:
👉 看到没?
最终结果仍然是:
这和一个单层线性模型完全一样!
✅ 无论你叠 2 层、10 层、100 层,只要没有非线性激活函数,整个网络永远可以合并成一个矩阵乘法 + 偏置 —— 也就是一个线性变换。
二、如果有激活函数呢?
现在在第 1 层后加一个非线性激活函数 f(⋅) (如 ReLU):
这时你不能再把两层合并成一个
🔑 线性变换的复合仍是线性,但 非线性∘线性 破坏了这个性质
网络开始具备拟合曲线、边界、复杂图案的能力。
三、直观比喻 🌰
❌ 没有激活函数 → 只会「拉伸 / 旋转 / 平移」
想象你在看世界 through 只许用:
- 放大缩小
- 倾斜
- 平移
不管你叠多少层”镜片”,看到的还是一条直线性的投影 —— 本质没变。
✅ 有激活函数 → 允许「弯折 / 开关 / 折叠」
激活函数就像给某层加了:
- “小于 0 就砍掉”(ReLU)
- “压到 0~1 之间”(Sigmoid)
这相当于把直线弯折,多层弯折组合 → 可以逼近任意复杂形状(Universal Approximation Theorem)。
四、一句话总结
没有激活函数,深度网络只是「看起来深」,数学上等价于一个单层线性回归;激活函数才是让「深度」真正有意义的东西。