模型结构分析
以透镜观察大模型的内部原理:直接读取开源权重(safetensors)做结构分析与数值实证, 把"架构图上的设计"变成"权重里的证据"。
数学基础 · 交互演示
一组数学小工具:把论文和教科书里的结论变成看得见、调得动的直观现象—— 蒙特卡洛模拟与理论曲线对照。
高维随机向量:最小夹角 / 最大点乘
N 维单位球面上随机 K 个向量两两点乘的最大值:蒙特卡洛模拟与 Cai–Fan–Jiang (2013) 理论曲线对照,直观感受"高维空间中随机向量近乎正交"。
随机矩阵的奇异值谱:MP 律与 Fuss-Catalan
高斯矩阵 A 的奇异值谱(Marchenko-Pastur 律)与乘积谱的理论曲线对比: 同一对矩阵,乘法维度不同曲线也不同;只依赖比值 c = H/D,是 QK 谱分析的初始化随机基线。
双随机投影的点积分布:Variance-Gamma 与夹角的遗忘
夹角 ρ 受控的向量经独立高斯矩阵投影后的点积:固定向量时服从对称 Variance-Gamma 且与 ρ 严格无关;固定矩阵时均值偏移 ρ·trM/D——QK score 分布的初始化基线。
随机投影链的长度平方分布:卡方、乘积卡方与深度对数正态
单位向量经高斯矩阵链投影后的长度平方:L=1 卡方、L=2 Bessel-K₀ 乘积伽马、 深链趋近对数正态;中位数随深度萎缩——LayerNorm 的随机矩阵注脚。
噪音向量的基本运算:加、数乘、点积
标准正态噪音经历逐元素加、数乘、按元素乘、平方与点积后的分布变化: 精确理论密度与蒙特卡洛直方图对照,检验"σ²=1/D 时点积方差是否为 1"。
激活函数:曲线、导数与噪音分布
LLM 里的 11 个激活函数(GELU、SiLU/Swish、Mish、ReLU 族……):函数与导数叠加对比, 高斯噪音过激活的输出分布;附 GLU 门控族二维面板与切片联动。