CS229 线性代数复习
650 字约 2 分钟
2026-05-20
这页把 CS229 线性代数复习材料整理成机器学习视角的知识骨架。原始材料中的公式排版较密，已保留在 archive/organise 作为来源备份；这里重点保留复习路径和核心概念。
学习目标
线性代数的价值在于把大量样本、特征和参数写成向量与矩阵，从而让模型训练可以被统一表示和高效计算。机器学习里最常见的对象是样本矩阵、特征向量、参数向量、权重矩阵和协方差矩阵。
核心概念
- 向量：表示一个样本、一组特征或一组参数。
- 矩阵：表示样本集合、线性变换或模型参数。
- 转置：把行列方向交换，常用于内积和矩阵乘法。
- 内积：衡量两个向量方向和大小的匹配程度。
- 矩阵乘法：表达批量线性组合，是神经网络线性层和线性回归的基础。
- 单位矩阵：线性变换中的“什么都不做”。
- 逆矩阵：用于解线性方程，但数值计算中更常用分解方法。
- 线性相关：判断特征或方程是否存在冗余。
机器学习里的典型用法
线性模型
线性回归可以写成矩阵形式：样本矩阵乘以参数向量，得到预测值。这样做的好处是可以一次性处理所有样本，并把损失函数和梯度写得更紧凑。
降维
PCA 本质上依赖协方差矩阵、特征值和特征向量。特征值越大，说明对应方向保留的数据方差越多。
神经网络
神经网络的线性层就是矩阵乘法加偏置，非线性激活负责打破纯线性组合的表达限制。
相似度
向量内积、余弦相似度和欧氏距离经常用于检索、聚类、推荐和 embedding 相似度计算。
复习顺序
- 向量、矩阵、转置和维度检查。
- 内积、矩阵乘法和线性变换。
- 秩、线性相关、逆矩阵和方程组。
- 特征值、特征向量和矩阵分解。
- 把这些概念对应回线性回归、PCA、神经网络和 embedding。
复习提醒
机器学习中最容易出错的是维度。每写一个公式，都先检查矩阵形状是否能相乘、输出维度是什么、每一行或每一列对应什么业务含义。