计算工具与阅读指南

阶段7 · LLM 应用 | 难度: 🟡 进阶(含课程总结图谱)

📋 阅读建议

从高中代数到 LLM 的奇异学习理论,我们走过九个阶段、几十个核心定理、数百页代码。但这只是开始。 本章为你装备四件武器:动手计算的工具箱、按阶段分级的阅读清单、当前最活跃的研究方向地图,以及最重要的——一张"从高中到 LLM"完整知识图谱,把整门课程的知识脉络一览无遗。

1. 计算工具对比

代数几何 + DL 的实操依赖几类工具:符号代数(CAS)、数值张量、几何计算。下表是常用栈的对比。

主流工具栈对比

工具
类别
擅长
学习曲线
DL/LLM 关联
SageMath
CAS / 教学
仿射簇、群、环、Gröbner 基础
★★☆☆☆
教学验证、可视化
Macaulay2
交换代数 / AG
理想分解、上同调、自由分解
★★★★☆
行列式簇、张量秩计算
Singular
奇点 / 多项式
奇点消解、Newton polytope、RLCT
★★★★☆
SLT 计算、损失景观
PyTorch / JAX
数值 / 自动微分
大规模张量、训练、Hessian 计算
★★★☆☆
所有 LLM 训练框架
Geomstats
微分几何 (Python)
流形、Grassmann、SO(d)、信息几何
★★★☆☆
几何 DL、表示几何
Polymake / Gfan
组合 / 热带几何
凸多面体、热带超曲面、ReLU 网络分析
★★★★☆
热带 DL、ReLU 几何
devinterp (PyPI)
SLT 实证
LLC 估计、训练相变检测
★★★☆☆
Developmental Interp 实战
★ 越多 = 学习曲线越陡。建议:先 SageMath + PyTorch,需要符号运算时再上 Macaulay2 / Singular。

2. 分级阅读清单

入门级(对应阶段 0–3)

中级(对应阶段 3.5–5)

高级(对应阶段 6 + 7)

核心论文清单(阶段 7)

  1. Watanabe (2007, 2009, 2018):奇异学习理论三部曲。
  2. Vaswani et al. (2017):Attention is All You Need
  3. Elhage et al. (Anthropic, 2021):A Mathematical Framework for Transformer Circuits
  4. Su et al. (2021):RoFormer / RoPE
  5. Hu et al. (2021):LoRA
  6. Park, Choe, Veitch (2023):The Linear Representation Hypothesis
  7. Hoogland, van Wingerden, Murfet (2024):Developmental Interpretability via LLC
  8. Hoffmann et al. (2022):Chinchilla Scaling Laws
  9. Wei et al. (2022):Emergent Abilities of LLMs
  10. Bronstein, Bruna, Cohen, Veličković (2021):Geometric Deep Learning

3. 活跃研究方向

2024–2026 间,代数几何 × DL 出现至少四个高速发展的子领域。

研究方向图谱

代数几何
× DL
SLT
奇异学习理论
Tropical
DL
Categorical
DL
Geometric
DL
RLCT 估计
(devinterp)
Developmental
Interp
ReLU 多面体复杂度
热带矩阵分解
String diagrams
for backprop
Functorial DL
(Fong-Spivak)
等变 GNN / E(3)-NN
流形扩散模型
四大主流方向相互交织——SLT 解释,Tropical 量化,Categorical 抽象,Geometric 应用

4. 未来研究方向

站在 2026 年的视角,几个公认重要但远未解决的问题:

  1. RLCT 与 emergent abilities 的精确对应:能否预言下一次"涌现"在哪个 scale 出现?
  2. Mechanistic Interpretability 的代数几何化:把 circuits 表达成残差流上的层 / 概形。
  3. 对齐的几何刻画:safety/refusal 行为对应嵌入空间中的什么子簇?
  4. 多模态嵌入的代数结构:图像、视频、声音的 token 流形如何耦合?
  5. 基础模型的范畴论框架:把 prompting / fine-tuning / RAG 统一为函子。
  6. 奇异 SGD 的动力系统:把训练轨迹理解成簇上的geometric flow

5. "从高中到 LLM" 完整知识图谱

下面这张 SVG 是这门课程的终极地图——把 9 个阶段的所有核心概念按"汇聚到 LLM"的方向画在一起。每个节点的颜色对应阶段(蓝色由浅至深);横向是知识依赖,纵向是抽象层级。

阶段 0 高中
阶段 1 大学基础
阶段 2 抽象代数
阶段 3 拓扑
阶段 3.5 范畴
阶段 4 交换代数
阶段 5 古典 AG
阶段 6 现代 AG
函数 / 多项式
解析几何
归纳与逻辑
向量空间 / 矩阵
线性映射 / 特征值
极限 / 连续性
导数 / 多变量
集合论 / 逻辑
群 / 子群
环 / 理想
多项式环
域 / 域扩张
拓扑空间
紧 / 连通
基本群
范畴 / 函子
极限 / 余极限
伴随 / Yoneda
素 / 极大理想
局部化 / 模
Noether / Hilbert
仿射簇 / 坐标环
射影簇
维数 / 奇点
曲线 / Bezout
层 / 概形
凝聚层 / 上同调
Serre 对偶 / RR
阶段 7:DL / LLM 应用——所有上游知识在此汇聚
理论篇 (Phase 14)
损失景观 / Morse
SLT / RLCT
热带几何 / ReLU
张量 / 等变
流形假设 / 表示
LLM 篇 (Phase 15)
Transformer 几何 (05)
嵌入空间几何 (06)
压缩 / LoRA / 量化 (07)
SLT × Scaling Laws (08)
本章 (09)
核心 LLM 现象的代数几何解释
Self-attention = $\textcolor{0066cc}{\mathbb{P}^{d-1}}$ 中的方向
Multi-head = $\textcolor{0066cc}{\mathrm{Gr}(d/h, d)}$ 子空间
King−Man+Woman = 仿射子簇平移
LoRA = 行列式簇 $\textcolor{0066cc}{\mathcal{R}_r}$ 上微调
Emergence = 奇点结构相变
前沿与未来
Mech Interp 代数几何化
Categorical / Functorial DL
Geometric / Equivariant DL
对齐 / Safety 几何
多模态 token 流形
所有上游知识
↓ 汇聚 ↓
从高中函数 → 抽象代数 → 拓扑 → 范畴 → 概形 → LLM:每条蓝色由浅至深的轨迹都是 9 个月到 2 年的成长。

6. 给走完全程的你

如果你读到这里,意味着你完成了一段从 $f(x) = ax+b$ 到 $\mathrm{RLCT}\,\lambda$ 的漫长旅程。代数几何不会让你"立刻"懂得所有 LLM 现象——但它给了你一种结构性的语言:

课程结束语:数学不是答案的集合,而是发问的方式。代数几何为我们提供了对"形状"——无论是曲线、层、还是 LLM 参数空间——发问的最深语言。带着这把钥匙,去开启你想开启的门。

最后一题(开放)

挑选一个你近期使用过的 LLM 行为(如 chain-of-thought、in-context learning、refusal),尝试用本课程学到的至少 三个不同阶段的工具(如:流形 + 范畴 + 奇点)给它一个代数几何"草图"。把它写成一篇博客或论文 draft。

—— 这是你独立研究的开始。

← 返回总目录