噪音向量的基本运算：分布视角

LLM 的线性部分不外三种运算：加、数乘、点积 （矩阵投影 = 每行一个点积，组成新向量）。本页从概率密度、均值、方差三个视角演示高斯噪音经历这些运算后的分布变化： 相加保持正态， 按元素乘变成"乘积正态"（尖峰重尾）， 平方变成卡方（均值漂离 0）。

理论曲线随参数即时更新；蒙特卡洛不自动采样——点各面板参数行的「采样」叠加直方图（参数变更后按钮高亮提示重新采样）

按元素运算：标量分布

（选中项叠加蒙特卡洛直方图）
仅作用于本面板（逐分量标量分布，与维数 D 无关）

x、y 为独立噪音标量，x, y ~ N(0, σ²)（即向量的任意一个分量）。曲线为精确理论密度；推导见 README.md。 N(0, σ²) ｜ 均值 0 ｜ 方差 σ² ｜ 正态，其余运算的参照基准。 N(0, 2σ²) ｜ 均值 0 ｜ 方差 σx²+σy² ｜ 正态：独立正态之和仍正态，方差相加。 乘积正态 f(z) = K₀(|z|/σ²)/(πσ²) ｜ 均值 0 ｜ 方差 σx²σy²（方差的乘积）｜ 非正态：0 处对数尖峰、重尾（峰度 9）。 σ²χ²₁ ｜ 均值 σ² ｜ 方差 2σ⁴ ｜ 非正态：只有正半轴，均值从 0 漂到 σ²（"能量"不再关于 0 对称）。

向量求和：点积与长度分布

仅作用于本面板；重复点「采样」叠加新批次，「重置」清空

x、y 为 D 维向量，各分量独立同分布 N(0, σ²)，考察把 D 个分量求和压成标量的运算。推导见 README.md。 Bessel-K 型（ν=(D−1)/2）｜ 均值 0 ｜ 方差 D·σx²σy² ｜ 非正态：D=1 乘积正态、D=2 Laplace，D 大由 CLT 趋近正态（拖 D 滑杆看全过程）。LLM 对应：attention 的 q·k 双方皆随机，分量方差 ≈ 1 时点积方差 = Dk，故 softmax 前除以 √Dk。 N(0, Dσ²) 精确正态 ｜ 均值 0 ｜ 方差 Dσ² ｜ σ²=1/D 时方差恰为 1（双方随机只有 1/D）——线性层初始化 W ~ N(0, 1/Din) 即此情形，输出方差保持 1。 σ²χ²(D) ｜ 均值 Dσ² ｜ 方差 2Dσ⁴ ｜ 只有正半轴；相对涨落 √(2/D)，高维时长度集中到 σ√D（RMSNorm 能工作的前提）。 H 维双方随机点积 ÷√H（attention 分数，σ_w²=1/D）｜ 均值 0 ｜ 方差 σ⁴，与 D、H 无关 ｜ 形状只看 H（H=1 尖峰、H=2 Laplace、大 H 正态）；训练后取决于 W_QᵀW_K 奇异值谱。