大模型的数学基础

前提概要

本篇不讲大模型,纯讲大模型需要的数学基础知识,想要进入大模型这一行业的同学可以看看,如果下面的知识你都懂,那么恭喜你,你拥有了深层学习大模型的基础条件.

我所有的笔记,只能起一个抛砖引玉的作用,如果要系统性学习,大家可以以我为参考,去搜寻相关资料.

高等数学

极限

函数在自变量趋近于某个值的时候,所接近的值. lim⁡x→af(x)=L\lim_{x \to a} f(x) = L

注:极限本身在写代码时用不到,但它是后面导数的定义方式,连续和导数都是建立在极限上的,知道这个概念就行.

导数

函数在某一点的导数指这个函数在这一点附近的变化率,几何上就是这一点切线的斜率. 导数定义:f′(x0)=lim⁡Δx→0f(x0+Δx)−f(x0)Δxf'(x_0)=\lim_{\Delta x \to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}

注:反向传播的本质就是求导——链式法则把损失函数对每一层参数的导数(梯度)一层层算出来,这是模型能”学习”的根本.常用的求导公式(常数、幂函数、指数函数、复合函数链式法则)建议眼熟,框架会自动求导,但你得看得懂它在干嘛.

二阶导数

在微积分中,函数的二阶导数是函数导数的导数。粗略来说,某个量的二阶导数描述该量变化率变化的快慢。例如物体位置对时间的二阶导数是物体的瞬时加速度,即该物体速度随时间的变化率。 f′′(x0)=lim⁡Δx→0f′(x0+Δx)−f′(x0)Δxf''(x_0)=\lim_{\Delta x \to 0}\frac{f'(x_0+\Delta x)-f'(x_0)}{\Delta x} 二阶导数与凹凸性的关系:若二阶导数在某区间恒为正,则函数在该区间向上弯(也称下凸函数)。反之,若二阶导数在某区间恒为负,则函数在该区间向下弯(也称上凸函数)。

注:二阶导数对应黑塞矩阵(Hessian),牛顿法用它来优化,但大模型参数几百亿,算二阶导的成本是天文数字,所以实际都只用一阶导(梯度下降).知道”为什么没人用牛顿法训大模型”即可.

偏导与梯度

多元函数因变量对其中一个自变量求导,将其它自变量视为常数,这个导数就是偏导. ∂f∂x=lim⁡Δx→0f(x+Δx,y)−f(x,y)Δx\frac{\partial f}{\partial x} = \lim_{\Delta x \to 0}\frac{f(x+\Delta x,y)-f(x,y)}{\Delta x} ∂f∂y=lim⁡Δy→0f(x,y+Δy)−f(x,y)Δy\frac{\partial f}{\partial y} = \lim_{\Delta y \to 0}\frac{f(x,y+\Delta y)-f(x,y)}{\Delta y} 梯度就是把每个自变量的偏导拼起来,它指向函数值增长最快的方向.

∇f(x,y)=(∂f∂x,∂f∂y)\nabla f(x,y) = \left( \frac{\partial f}{\partial x},\frac{\partial f}{\partial y} \right)

∇f(x)=(∂f∂x1,∂f∂x2,…,∂f∂xn)\nabla f(\boldsymbol{x}) = \left( \frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots,\frac{\partial f}{\partial x_n} \right) 注:加负号反向就是下降最快的方向,大模型的核心梯度下降法的关键原理就是这个. xt+1=xt−η∇f(xt)\boldsymbol{x}_{t+1} = \boldsymbol{x}_t - \eta \nabla f(\boldsymbol{x}_t) 其中 η\eta 是学习率,控制每一步走多大.

线性代数

神经网络里流动的数据,本质全是向量、矩阵和张量,线代是描述网络的”语言”.

标量、向量、矩阵、张量

它们是同一个东西在不同维度下的叫法:

维度名称直观理解
0维标量 Scalar单个数值,如温度 25
1维向量 Vector一列数,如一个样本的特征
2维矩阵 Matrix一张二维表,如一批样本的特征
N维张量 Tensor多维数组

注:这是机器学习里最常用的数据载体.一张彩色图是 3 维张量 [高度, 宽度, 通道](RGB 三通道);喂给模型时一个批次是 4 维 [批次, 高度, 宽度, 通道].大模型里的词向量、注意力权重也全是张量.

向量内积

两个同维向量对应位置相乘再求和,结果是个标量: ⟨x,y⟩=xTy=∑ixiyi\langle \boldsymbol{x}, \boldsymbol{y} \rangle = \boldsymbol{x}^T \boldsymbol{y} = \sum_{i} x_i y_i

注:内积衡量两个向量有多”对齐”/多相似,这是 Transformer 注意力的核心——注意力分数就是拿查询 Q 和键 K 做内积 QKT\boldsymbol{Q}\boldsymbol{K}^T,内积越大说明两者越相关,给的权重越高.常说的余弦相似度,就是归一化之后的内积.

向量范数

范数把一个向量压缩成一个非负数,衡量它有”多大”:

L1 范数(各元素绝对值之和): ∥x∥1=∑i∣xi∣\|\boldsymbol{x}\|_1 = \sum_{i} |x_i| L2 范数(平方和开根号,就是向量的几何长度): ∥x∥2=∑ixi2\|\boldsymbol{x}\|_2 = \sqrt{\sum_{i} x_i^2}

注:范数在大模型里有三个直接用途——

矩阵乘法

矩阵 A 乘矩阵 B,要求 A 的列数等于 B 的行数,结果每个元素是对应行列的内积: Cij=∑kAikBkjC_{ij} = \sum_{k} A_{ik} B_{kj}

注:神经网络的一层,本质就是一次矩阵乘法加偏置 Y=XW+b\boldsymbol{Y} = \boldsymbol{X}\boldsymbol{W} + \boldsymbol{b},整个 Transformer 就是成百上千次矩阵乘法堆起来的.GPU 之所以训模型快,就是因为它有成千上万个核心并行算矩阵乘法.这是线代里最该刻进 DNA 的运算.

矩阵转置

把矩阵沿主对角线翻转,行变列、列变行,记作 ATA^T: (AT)ij=Aji(A^T)_{ij} = A_{ji}

注:注意力公式 QKT\boldsymbol{Q}\boldsymbol{K}^T 里的上标 T 就是转置,因为要让 Q 的行和 K 的列对齐做内积.

至于矩阵的逆、Kronecker 积、Hadamard 积这些,做工程基本用不上,知道有这回事就行,不用死磕.

概率论

如果说线代描述网络的”结构”,概率就描述模型的”不确定性”和训练的”目标”.

方差与标准差

方差衡量数据围绕均值的离散程度(波动大小): σ2=1n∑i=1n(xi−μ)2\sigma^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \mu)^2 标准差 σ\sigma 是方差开根号,单位和原始数据一致,更好解读.

注:归一化(BatchNorm / LayerNorm)干的事就是把数据的均值拉到 0、方差拉到 1,让每一层的输入分布稳定,大模型几乎必用 LayerNorm,这是训练深层网络不崩的关键之一.

协方差

协方差衡量两个变量是否同向变化: Cov(x,y)=1n∑i(xi−xˉ)(yi−yˉ)\mathrm{Cov}(x,y) = \frac{1}{n}\sum_{i}(x_i-\bar{x})(y_i-\bar{y}) 为正说明同涨同落,为负说明此消彼长,接近 0 说明没线性关系.

正态分布

也叫高斯分布,钟形曲线,记作 X∼N(μ,σ2)X \sim N(\mu, \sigma^2): f(x)=1σ2πe−(x−μ)22σ2f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}

注:神经网络的权重初始化(Xavier / He 初始化)就是按正态分布或均匀分布随机取值,初始值太大太小都会让训练崩;很多生成模型也假设数据服从某个分布,再去学习这个分布的参数.

贝叶斯公式

根据已经发生的结果,反过来更新原因的概率: P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)} P(A)P(A) 是先验, P(A∣B)P(A|B) 是看到证据 B 之后更新的后验.

注:这套”先验 + 数据 → 后验”的思想在朴素贝叶斯、部分生成模型里用得到,了解即可.当前主流大模型的训练走的是下面的极大似然路线.

极大似然估计(MLE)

似然和概率方向相反:概率是已知参数猜结果,似然是已经看到结果,反推什么参数最可能产生它.

极大似然估计就是找到一组参数 θ\theta,让观测到的数据出现的概率(似然)最大: θ^=arg⁡max⁡θL(θ)=arg⁡max⁡θ∏iP(xi∣θ)\hat{\theta} = \arg\max_{\theta} L(\theta) = \arg\max_{\theta} \prod_{i} P(x_i|\theta) 实际为了好算,会取对数把连乘变连加,叫对数似然.

注:这是理解”损失函数为什么长这样”的钥匙.模型训练时最小化的交叉熵、均方误差,本质上都是负对数似然——最小化损失,就等于最大化”模型生成这些训练数据”的概率.所以”训练”这件概率外衣下的数学实质,就是极大似然估计.

串起来:一次模型训练用到了上面所有东西

数据以【张量】形式输入([批次, 高度, 宽度, 通道])
      ↓
网络一层层做【矩阵乘法】 XW+b,中间穿插注意力(【内积】)
      ↓
用损失函数(本质是负【似然】)衡量预测和真实的差距
      ↓
反向传播用【导数/偏导】链式求出每个参数的【梯度】
      ↓
梯度下降更新参数,配合范数做【正则/裁剪】
      ↓
权重靠【正态分布】初始化,每层用均值【方差】做归一化

一句话:线代让你看懂网络长什么样,微积分让你看懂模型怎么学,概率让你看懂为什么这么学. 这三块啃下来,再看大模型的论文和代码就不会被数学符号劝退了.


← 返回博客列表