1. 为什么需要激活函数？#

如果神经网络只有线性变换（矩阵乘法+偏置），无论堆多少层，实际上都等价于一层线性变换。

但是我们需要让模型具有更加复杂的表达能力，因此需要在每一层之间进行“弯折”，让神经网络能够拟合复杂的非线性模式。

在 Transformer 架构中，FFN 承担了 70% 以上的参数量，而激活函数的选择直接决定了模型的表达能力、训练稳定性、计算效率。

2. 预备知识#

一个 Transformer Block 包含 Attention 和 FFN 两个子层，其中 FFN 对每个位置独立作用：

数学形式：

下边我做一个简单的示例：

• 输入向量 $x = [1.0, -0.5]$ （2维）
• 中间层维度也设为 2（实际中会扩到 4~8 倍，这里为计算方便）
• 权重矩阵定义如下（偏置全部取 0）：

在涉及门控机制时，我们还会增加一个门控权重矩阵 $W_g$，后面会逐步引入。

现在，让我们从 ReLU 开始，一步步推动进化。

3. ReLU#

定义：

ReLU的优点很明显：

• 计算简单高效，只需要进行一次比较和一次取最大值运算，适合大规模深度网络
• 缓解梯度消失，对于正区间来说，不会像sigmoid产生梯度衰减
• 稀疏性，ReLU将一部分输出置0，可以提升模型的泛化能力
• 收敛速度快，使用ReLU的网络相对来说收敛速度更快，能够更好地拟合非线性数据。

后续有Leaky ReLU、ELU、GELU、Swish等改进激活函数来缓解上述问题。

4. SiLU / Swish#

SiLU（Sigmoid Linear Unit）也被称为 Swish，定义为：

这个形式非常有趣：输入 $x$ 自己控制自己通过的比例，Sigmoid 输出一个 0~1 的门控值，再乘回 $x$ 本身。这就是“自门控”的来历。

我们用同一个 $h = [0.65, -0.7]$ 计算 SiLU：

1. 计算 sigmoid：

   • $\sigma(0.65) \approx 0.657$
   • $\sigma(-0.7) \approx 0.332$

2. 计算 SiLU：

   • $\text{SiLU}(0.65) = 0.65 \times 0.657 \approx 0.427$
   • $\text{SiLU}(-0.7) = -0.7 \times 0.332 \approx -0.232$

   负数仍然在，它得到一个微弱的负输出。梯度也依然存在。

3. 降维：

   • $y = W_2 \cdot [0.427, -0.232]^T$

对比 ReLU 的输出 $[0.195, 0.26]$，SiLU 的输出完全不同。更重要的是，SiLU 处处光滑、非单调，允许梯度稳定流动，训练深层网络时表现显著优于 ReLU。在 LLaMA 等模型中，即便后来有了 SwiGLU，SiLU 本身作为激活函数也曾被直接使用。

5. GLU#

但 SiLU 仍然有一个局限，整个门控仍然来自同一个输入。也就是说 $\text{gate}=f(x)$，$\text{value}=x$。门控和内容共享同一份特征，因为它们都是同一个 $x$ 表征出来的。

于是研究者开始思考：如果门控和内容分别由两条独立路径生成，会发生什么？

这便引出了 GLU。前面的激活函数都是“单路径”。 输入经过一个线性层后，用一个函数压一下。

GLU（Gated Linear Unit）改变了游戏规则：把信息流拆成两条路，一路提供内容，另一路充当门控，逐元素相乘。

这需要额外引入一个权重矩阵 $W_g$。我们设：

6. SwiGLU#

2019 年，Shazeer 在《GLU Variants Improve Transformer》中系统比较了多种门控激活，发现将 sigmoid 换成 SiLU（即 Swish）能取得最佳效果。这就是 SwiGLU：

我们用完全相同的数据，只改变门控函数，再算一遍：

1. gate 原始值不变，只换 SiLU 激活：

   • $\text{SiLU}(0.75)=0.75\times\sigma(0.75)=0.509$
   • $\text{SiLU}(-0.55)=-0.55\times\sigma(-0.55)=-0.201$

   这里门控出现了负值 -0.201。

2. value 不变

3. 调制: $h_{\text{SwiGLU}}=[0.509\times 0.65,\ (-0.201)\times(-0.7)]\approx[0.331, 0.141]$。

   第二维原本是 -0.7，门控是 -0.201，负负得正，输出变成了 +0.141。信息不仅被调制，符号都可能翻转。

4. 降维输出：

7. 工程实现#

数学上的 SwiGLU 需要用两个权重矩阵 $W_g$ 和 $W_v$ 分别做两次矩阵乘法。但在实际部署中，这两次矩阵乘法读取的是同一个输入 $x$，完全可以合并为一个更大的矩阵乘法，从而节省一半的内存带宽。

1
class SiluAndMul(nn.Module):
2
    def forward(self, x: torch.Tensor) -> torch.Tensor:
3
        x, y = x.chunk(2, -1)   # 拆成 value 和 gate 两半
4
        return F.silu(y) * x    # SiLU(gate) * value

1
def forward(self, x: torch.Tensor) -> torch.Tensor:
2
    return self.down_proj(self.act_fn(torch.cat([self.up_proj(x), self.gate_proj(x)], dim=-1)))