从高中代数到 LLM 的奇异学习理论,我们走过九个阶段、几十个核心定理、数百页代码。但这只是开始。 本章为你装备四件武器:动手计算的工具箱、按阶段分级的阅读清单、当前最活跃的研究方向地图,以及最重要的——一张"从高中到 LLM"完整知识图谱,把整门课程的知识脉络一览无遗。
1. 计算工具对比
代数几何 + DL 的实操依赖几类工具:符号代数(CAS)、数值张量、几何计算。下表是常用栈的对比。
主流工具栈对比
2. 分级阅读清单
入门级(对应阶段 0–3)
- Strang, Linear Algebra(阶段1)——MIT 18.06,几何直观最佳。
- Axler, Linear Algebra Done Right(阶段1)——避开行列式的现代讲法。
- Spivak, Calculus(阶段1)——分析严格化入门。
- Munkres, Topology(阶段3)——点集拓扑权威。
- 3Blue1Brown 视频(全阶段)——可视化神器。
中级(对应阶段 3.5–5)
- Dummit & Foote, Abstract Algebra(阶段2)——百科全书式群环域。
- Aluffi, Algebra: Chapter 0(阶段2 + 3.5)——范畴贯穿全程。
- Mac Lane, Categories for the Working Mathematician(阶段3.5)——范畴论圣经。
- Atiyah & Macdonald, Introduction to Commutative Algebra(阶段4)——薄而密。
- Reid, Undergraduate Algebraic Geometry(阶段5)——最友好的 AG 入门。
- Cox, Little & O'Shea, Ideals, Varieties, and Algorithms(阶段4 + 5)——可计算、有代码。
高级(对应阶段 6 + 7)
- Vakil, The Rising Sea: Foundations of Algebraic Geometry(阶段6)——本课程主要参考。
- Hartshorne, Algebraic Geometry(阶段6)——经典参考、习题难。
- Watanabe, Algebraic Geometry and Statistical Learning Theory(阶段7.1)——SLT 奠基之作。
- Maclagan & Sturmfels, Introduction to Tropical Geometry(阶段7.2)——热带 + ReLU。
- Bronstein et al., Geometric Deep Learning(2021)(阶段7.4)——等变网络与几何 DL。
核心论文清单(阶段 7)
- Watanabe (2007, 2009, 2018):奇异学习理论三部曲。
- Vaswani et al. (2017):Attention is All You Need。
- Elhage et al. (Anthropic, 2021):A Mathematical Framework for Transformer Circuits。
- Su et al. (2021):RoFormer / RoPE。
- Hu et al. (2021):LoRA。
- Park, Choe, Veitch (2023):The Linear Representation Hypothesis。
- Hoogland, van Wingerden, Murfet (2024):Developmental Interpretability via LLC。
- Hoffmann et al. (2022):Chinchilla Scaling Laws。
- Wei et al. (2022):Emergent Abilities of LLMs。
- Bronstein, Bruna, Cohen, Veličković (2021):Geometric Deep Learning。
3. 活跃研究方向
2024–2026 间,代数几何 × DL 出现至少四个高速发展的子领域。
研究方向图谱
4. 未来研究方向
站在 2026 年的视角,几个公认重要但远未解决的问题:
- RLCT 与 emergent abilities 的精确对应:能否预言下一次"涌现"在哪个 scale 出现?
- Mechanistic Interpretability 的代数几何化:把 circuits 表达成残差流上的层 / 概形。
- 对齐的几何刻画:safety/refusal 行为对应嵌入空间中的什么子簇?
- 多模态嵌入的代数结构:图像、视频、声音的 token 流形如何耦合?
- 基础模型的范畴论框架:把 prompting / fine-tuning / RAG 统一为函子。
- 奇异 SGD 的动力系统:把训练轨迹理解成簇上的geometric flow。
5. "从高中到 LLM" 完整知识图谱
下面这张 SVG 是这门课程的终极地图——把 9 个阶段的所有核心概念按"汇聚到 LLM"的方向画在一起。每个节点的颜色对应阶段(蓝色由浅至深);横向是知识依赖,纵向是抽象层级。
6. 给走完全程的你
如果你读到这里,意味着你完成了一段从 $f(x) = ax+b$ 到 $\mathrm{RLCT}\,\lambda$ 的漫长旅程。代数几何不会让你"立刻"懂得所有 LLM 现象——但它给了你一种结构性的语言:
- 当别人说"模型权重是黑盒",你可以问:是哪个代数簇上的点?维数是多少?奇点在哪?
- 当别人说"涌现是炼金术",你可以问:是哪些奇点的拓扑跃迁?RLCT 怎么变?
- 当别人说"压缩到极致",你可以问:行列式簇的 Eckart-Young 下界达到了吗?
课程结束语:数学不是答案的集合,而是发问的方式。代数几何为我们提供了对"形状"——无论是曲线、层、还是 LLM 参数空间——发问的最深语言。带着这把钥匙,去开启你想开启的门。
最后一题(开放)
挑选一个你近期使用过的 LLM 行为(如 chain-of-thought、in-context learning、refusal),尝试用本课程学到的至少 三个不同阶段的工具(如:流形 + 范畴 + 奇点)给它一个代数几何"草图"。把它写成一篇博客或论文 draft。
—— 这是你独立研究的开始。