AI神功 KNOWLEDGE BASE
内功07 · 模型定制与算力量化·第 27 关 / 36 约 5 分钟

INNER 07 / MODEL / 07 · ENGINE v1

低比特模型量化实战(Scientist 7: Quantization ― GGUF, AWQ & GPTQ)

本关练习：精准核算大模型推理显存账单并选型量化方案。

约 5 分钟·免费阅读·整理自 AI 现代必修课 · 内功07·来源精读 ↓·直接做题 ↓

30 SECONDS / 30 秒看懂

这一关只解决一件事：模型训练好后,如何把它塞进普通笔记本电脑或低成本云服务器里高速运行?mlabonne/llm- course 第 7 章(Quantization) 给出了完整路线图:将原本占 16 位浮点数(FP16/BF16,每个参数占 2 字节)的权重压缩为 8-bit 甚至 4-bit 整数(每个参数仅占 0.5 字节),在几乎不损失肉眼可见精度的前提下,将显存占用直接砍掉 70% 以上!

  • 写出大模型推理总显存占用的快速估算公式(模型权重显存 + KV Cache 动态显存 + 激活值开销),并分别计算 8B 与 32B 模型在 FP16 与 4-bit 量化下的权重显存大小(
  • 5 分);
  • 分别为环境1(Mac 本地离线)和环境2(单卡 24GB 4090 跑 32B 模型)指定最匹配的量化格式、推荐量化档位及运行引擎(

3 MINUTES / 3 分钟拆解

先看来源里的例子：PDF 本关任务（来源）

输入
客戶现场只有两类硬件环境:1 销售经理随身携带的 16GB 统一内存 MacBook Air(需断网离线运行 8B 模型);2 公司机房一台配有单张 24GB 显存 RTX 4090 的服务器(需部署一个 32B 规模的模型供内部 20 人并发调用)。

发生了什么

来源要求：写出大模型推理总显存占用的快速估算公式(模型权重显存 + KV Cache 动态显存 + 激活值开销),并分别计算 8B 与 32B 模型在 FP16 与 4-bit 量化下的权重显存大小( / 5 分); / 分别为环境1(Mac 本地离线)和环境2(单卡 24GB 4090 跑 32B 模型)指定最匹配的量化格式、推荐量化档位及运行引擎(

输出

参考答案：参考答案:推理显存精算公式与跨平台量化选型方案 【1. 推理显存快速估算公式】 总显存占用 ≈ 模型权重显存 + KV Cache 动态显存 + 运行时激活开销(约 10%~15% 冗余) - FP16/BF16 权重显存 ≈ 参数量(B) × 2 Bytes - INT4 (4-bit) 权重显存 ≈ 参数量(B) × 0.55~0.6 Bytes(含缩放因子元数据开销) 【2. 两种模型规格显存账单核算】 - 8B 模型:FP16

术语拆开

GGUF
配合 llama.cpp/Ollama 的本地量化格式。
AWQ
保护显著权重的 4-bit GPU 量化方法。
Calibration Dataset
用于观察激活分布、指导量化的样本集。

为什么有效

来源核心原理：模型训练好后,如何把它塞进普通笔记本电脑或低成本云服务器里高速运行?mlabonne/llm- course 第 7 章(Quantization) 给出了完整路线图:将原本占 16 位浮点数(FP16/BF16,每个参数占 2 字节)的权重压缩为 8-bit 甚至 4-bit 整数(每个参数仅占 0.5 字节),在几乎不损失肉眼可见精度的前提下,将显存占用直接砍掉 70% 以上!三大主流工业格式选型必须分清: GGUF(配合 llama.cpp / Ollama):专为 CPU + GPU 混合推理及苹果 Mac (Apple Silicon) 本地运行而生,支持把词汇表、元数据与权重打包进单一文件(如 Q4_K_M、Q5_K_M 量化档位)。 AWQ(Activation-Aware Weight Quantization)与 GPTQ / EXL2:专为纯 GPU 高吞吐生产推理设计!AWQ 发现模型中仅有 1% 的显著权重(Salient Weights,对应激活值较大的通道)对精度至关重要, 通过对这 1% 通道做缩放保护,使 4-bit 量化模型在 GPU 上兼具高速度与高精度。

结构长什么样

写出大模型推理总显存占用的快速估算公式(模型权重显存 + KV Cache 动态显存 + 激活值开销),并分别计算 8B 与 32B 模型在 FP16 与 4-bit 量化下的权重显存大小(
5 分);
分别为环境1(Mac 本地离线)和环境2(单卡 24GB 4090 跑 32B 模型)指定最匹配的量化格式、推荐量化档位及运行引擎(
5 分);
说明为什么做 AWQ/GPTQ 4-bit 量化时需要提供一个校准数据集(Calibration Dataset),且校准集应如何选取(
5 分)。

为什么 4-bit 量化仍需要校准集？

SOURCE READING / 来源精读

模型训练好后,如何把它塞进普通笔记本电脑或低成本云服务器里高速运行?mlabonne/llm- course 第 7 章(Quantization) 给出了完整路线图:将原本占 16 位浮点数(FP16/BF16,每个参数占 2 字节)的权重压缩为 8-bit 甚至 4-bit 整数(每个参数仅占 0.5 字节),在几乎不损失肉眼可见精度的前提下,将显存占用直接砍掉 70% 以上!

逐点读懂

  1. 写出大模型推理总显存占用的快速估算公式(模型权重显存 + KV Cache 动态显存 + 激活值开销),并分别计算 8B 与 32B 模型在 FP16 与 4-bit 量化下的权重显存大小(
  2. 5 分);
  3. 分别为环境1(Mac 本地离线)和环境2(单卡 24GB 4090 跑 32B 模型)指定最匹配的量化格式、推荐量化档位及运行引擎(

怎么对应本关练习

先读 30 秒与 3 分钟拆解，再读本关原文与实验，最后做客观题和实操题；答案在下方。

例子在哪

本关任务与参考答案见页面下方；来源为本册 PDF 对应关卡。

本关先记住：写出大模型推理总显存占用的快速估算公式(模型权重显存 + KV Cache 动态显存 + 激活值开销),并分别计算 8B 与 32B 模型在 FP16 与 4-bit 量化下的权重显存大小(

SOURCESPDF 第 7 关（用户提供）mlabonne/llm-course ↗

核心原理

模型训练好后,如何把它塞进普通笔记本电脑或低成本云服务器里高速运行?

mlabonne/llm- course 第 7 章(Quantization) 给出了完整路线图:将原本占 16 位浮点数(FP16/BF16,每个参数占 2 字节)的权重压缩为 8-bit 甚至 4-bit 整数(每个参数仅占 0.5 字节),在几乎不损失肉眼可见精度的前提下,将显存占用直接砍掉 70% 以上!

三大主流工业格式选型必须分清: GGUF(配合 llama.cpp / Ollama):专为 CPU + GPU 混合推理及苹果 Mac (Apple Silicon) 本地运行而生,支持把词汇表、元数据与权重打包进单一文件(如 Q4_K_M、Q5_K_M 量化档位)。

AWQ(Activation-Aware Weight Quantization)与 GPTQ / EXL2:专为纯 GPU 高吞吐生产推理设计!

AWQ 发现模型中仅有 1% 的显著权重(Salient Weights,对应激活值较大的通道)对精度至关重要, 通过对这 1% 通道做缩放保护,使 4-bit 量化模型在 GPU 上兼具高速度与高精度。

第 7 关实操练习题：精准核算大模型推理显存账单并选型量化方案

任务背景

客戶现场只有两类硬件环境:1 销售经理随身携带的 16GB 统一内存 MacBook Air(需断网离线运行 8B 模型);2 公司机房一台配有单张 24GB 显存 RTX 4090 的服务器(需部署一个 32B 规模的模型供内部 20 人并发调用)。

通关硬性要求（满分 12.5 分）

1. 写出大模型推理总显存占用的快速估算公式(模型权重显存 + KV Cache 动态显存 + 激活值开销),并分别计算 8B 与 32B 模型在 FP16 与 4-bit 量化下的权重显存大小(

5.5 分);

2. 分别为环境1(Mac 本地离线)和环境2(单卡 24GB 4090 跑 32B 模型)指定最匹配的量化格式、推荐量化档位及运行引擎(

4.5 分);

3. 说明为什么做 AWQ/GPTQ 4-bit 量化时需要提供一个校准数据集(Calibration Dataset),且校准集应如何选取(

2.5 分)。

PRACTICE / 本关练习 · 本地规则 + 覆盖检查

精准核算大模型推理显存账单并选型量化方案

本地检查在你的浏览器里完成，不上传。覆盖检查需要先登录（免费注册），并把这段答案发送到服务器计算一次，算完即弃、不存档，需你点同意；只核对本关评分项覆盖的方向，不在评分项里的题目不会被检查。

0 字未保存

评分项

评分项加载中…

结构分 — / 12.5 分

查看参考答案与得分点 先自己写，再打开＋

参考答案与得分要点

参考答案:推理显存精算公式与跨平台量化选型方案

【1. 推理显存快速估算公式】

总显存占用 ≈ 模型权重显存 + KV Cache 动态显存 + 运行时激活开销(约 10%~15% 冗余) - FP16/BF16 权重显存 ≈ 参数量(B) × 2 Bytes - INT4 (4-bit) 权重显存 ≈ 参数量(B) × 0.55~0.6 Bytes(含缩放因子元数据开销)

【2. 两种模型规格显存账单核算】

- 8B 模型:FP16 权重需 ~16GB;4-bit 量化后权重仅需 ~4.8GB,加上 4K 上下文 KV Cache 合计约 6.5GB。 - 32B 模型:FP16 权重需 ~64GB(单卡 24GB 4090 根本装不下);4-bit 量化后权重降至 ~18.5GB,剩余 ~5.5GB 显存刚好容纳并发 KV Cache,完美塞入单张 24GB 4090!

【3. 两大硬件环境最优方案】

- 环境1(16GB MacBook Air 离线跑 8B):选用 GGUF 格式(推荐 Q4_K_M 或 Q5_K_M 档位),使用 llama.cpp 或 Ollama 运行,完美利用 Apple Silicon 统一内存加速。 - 环境2(单张 24GB RTX 4090 高并发跑 32B):选用 AWQ 4-bit 格式,搭配 vLLM 推理引擎运行。 - 校准集原则:AWQ/GPTQ 量化需 128~256 条与目标业务真实分布一致的文本(如中文金融/医疗语料)统计激活值分布,切勿用纯英文维基百科去校准中文垂直模型。 得分要点拆解:准确写出显存估算公式并算出 8B(~4.8GB)与 32B(~18.5GB)4-bit 权重显存(5.5 分);为 Mac 选 GGUF+Ollama、为 4090 选 AWQ+vLLM(4.5 分);说明校准集保护显著激活通道的作用及同分布选取原则(2.5 分)。 第 8 关

网页永久免费。完整 PDF 会按顺序发给留邮箱的读者，不转售、不群发广告。

留邮箱，获取完整 PDF ↗
上一关模型权重融合(MergeKit)与评测防污染(Scientist 6 & 8: Evaluation & Merging)下一关vLLM 高吞吐生产级部署(The LLM Engineer: vLLM & Production Serving)
← 上一关 下一关 →