面板一：函数与导数
勾选函数叠加对比；带参数的函数（Leaky ReLU 的 α、ELU 的 α、SiLU 的 β）在参数行调节。 导数图直观看：sigmoid/tanh 两端梯度→0（饱和）、ReLU 负半轴梯度恒 0（死区）、GELU/SiLU 负半轴有一段平缓的"软死区"。
| 模型 | FFN 激活 | 备注 |
|---|---|---|
| GPT-2 / GPT-3 | GELU（tanh 近似） | OpenAI 系惯例 |
| BERT | GELU（精确） | |
| LLaMA / Qwen / Kimi-K3 | SwiGLU | 门控变体，见面板三 |
| Gemma | GeGLU | 门控变体，见面板三 |
| 早期 MLP / CNN | ReLU / Tanh |
面板二：噪音过激活的分布
输入 x ~ N(0, σ²)，看 y = f(x) 的分布；竖线标理论中位数 / 均值 / μ±σ（落在图外的 σ 线自动省略）
面板三：GLU 门控族（二维）y = u·g(v)
(u,v) 联合高斯（LLM 初始化基线 ρ=0）；点击热力图选切片 v₀
门控地形 z = u·g(v)（蓝负红正）与输入质量的 1/2/3σ 等高线椭圆（随 ρ 旋转扁缩）。 点击选切片 v₀（紫色虚线）。