ai-infra-book

《深入理解 AI Infra：量化分析与系统设计》——一本可以亲手复算的 LLM 系统工程手册

项目速览

项目 内容
仓库 bojieli/ai-infra-book
定位 《深入理解 AI Infra：量化分析与系统设计》开源书稿
作者 李博杰（@bojieli，中国科学技术大学博士、前微软亚洲研究院研究员）
Stars / Forks 6,906 / 542（截至 2026-10-23）
许可证 Apache-2.0
阅读 PDF · EPUB · 在线阅读；简体中文（原版）/ 英 / 繁中 / 俄文（社区翻译）

它想解决什么问题

AI 应用开发者大概都遇到过这种绝望：模型明明一样，延迟和成本却能差出一个数量级，而你说不清差距出在哪一层。ai-infra-book（《深入理解 AI Infra：量化分析与系统设计》）就是来回答这个问题的——李博杰的开源书稿，用”从约束推导设计“的量化方法，把 LLM 推理与训练的系统设计讲成一本可以亲手复算的工程手册。6,906 Star，姊妹篇是 5 万+ Star 的《深入理解 AI Agent》。

核心方法：从约束推导设计

这本书最鲜明的标签是量化。作者在前言里反复强调一个习惯——优化一定要做到物理所允许的极限：先按第一性原理算出硬件上限，再看实测离上限多远，差距就是系统的可去除开销。

全书 12 章，从模型架构、推理训练负载、加速器架构、算子与运行时、超节点、数据中心网络，一路讲到推理优化、分布式推理、训练系统、资源调度和端边云协同。贯穿全书的是同一条线索——数据搬移：搬什么、搬多少、搬几次、经过哪里、谁必须等它。作者从 FPGA 加速 Bing 搜索排序、昇腾 AKG 算子生成到 UB 万卡互联的经历里，反复遇到的就是这条线索。

书里甚至专门提醒估算的常见错误：只算权重读取忘了 KV 缓存、按峰值算力推速度而不查带宽供给、多卡平分工作却漏了卡间通信——“漏掉任何一项，结论都可能偏离几倍甚至几个数量级”。

一个可以跑的书稿

书稿配套可运行的代码与估算脚本，读者可以把每一章的推导亲手复算——这是它与绝大多数”经验谈”式 AI Infra 资料的本质区别。

点评

亮点：中文世界少有的系统性 AI Infra 教材，量化推导的方法论让读者获得的是”会算”而不是”背结论”；作者背景横跨学术与工业（MSRA、昇腾、万卡集群），案例可信；开源 + 多语言翻译 + 姊妹篇《深入理解 AI Agent》形成完整知识体系。

局限：阅读门槛不低，需要体系结构与分布式系统基础；领域演进极快，部分章节数据需结合最新硬件对照；6.9K Star 相对其价值仍被低估。

适合人群：LLM 推理/训练系统的工程师、做模型部署与成本优化的后端开发者、AI Infra 方向的学生——以及所有想知道”我的推理为什么这么慢”的人。