工作版 · 推理侧 · 2026
从一次请求
到一台服务
模型没变,变的是工作负载。先把算力、显存容量、显存带宽这三笔账算清楚,再谈引擎和参数。
工作负载→瓶颈→机制→取舍→度量
开始读第 1 章 →
已写 11 / 11 章 · 约 28 分钟一章
100% 完成
目录
按顺序读;每章先做“先备检查”,再读正文,最后闭卷做题。
01
一次请求的一生
prefill 拼算力,decode 拼带宽,KV cache 拼容量
→
02
显存账本
权重、KV、余量,三笔账决定 batch 上限
→
03
batching
总吞吐变好,单请求不一定更快
→
04
调度
连续批处理、chunked prefill、抢占与尾延迟
→
05
PagedAttention
碎片、共享与分页:把 KV cache 当虚拟内存管
→
06
量化
权重和 KV 都能压,代价是精度与反量化开销
→
07
长上下文
先撞算力还是容量?位置、注意力与缓存压缩
→
08
引擎选型
vLLM、SGLang、llama.cpp、TensorRT-LLM 的取舍
→
09
评测
TTFT、TPOT、P99、goodput 与每 token 成本
→
10
综合案例
7B、8K 上下文、20 并发:算账、选型、压测
→
A
附录
公式表、术语表、项目阶梯
→
怎么读
三件事,决定这本书对你有没有用。
先算账,再换框架
看到慢,先分清首字慢、出字慢还是 OOM;算力、带宽、容量三堵墙,定位错了,换引擎只是搬家。
每章都先闭卷
先做章首检查,再读正文;读完做练习,答案在题下,但先别展开。错题要归因,不要只看分数。
用项目验证
每章至少一个能跑/能改的小实验;先写预测,再测。书里的数字都是手算,实测才算你的。