LLM 量化

量化前，先固定线性层的维度约定

W4A16 表示存储的权重 4 bit、激活 16 bit；它没有说明 KV 精度，也没有说明最终在哪种硬件指令上相乘。

4 bit 有 16 个编码，数值范围由格式决定

先问清格式、scale、zero-point、分组轴和打包顺序，再谈“4 bit 模型能否被这个 kernel 读取”。

zero-point 让整数零点对齐实数 0

教学例子：x 的范围 [−1,2]，使用无符号 4 bit。s=(2−(−1))/15=0.2，z=5。

z 通常取整数并限制在编码范围内；一般范围的端点不一定都精确命中。全零组要单独处理，避免 scale=0 后除零。

舍入误差有上界，裁剪误差可以大得多

s²/12 需要误差近似均匀等假设；比较实际 LLM 质量时仍要测真实数据、真实层输出与任务指标。

两个 INT4，怎样真正装进一个字节

−7 的 4-bit 补码为 9；7 左移 4 位得 112。9|112=121=0x79。解码时 u≥8 就取 u−16，恢复符号。

真正的整数点积，要扣掉 zero-point

取 qₓ=(6,3)、zₓ=4、sₓ=0.5；q𝑤=(5,2)、z𝑤=3、s𝑤=0.25。

反量化后 x=(1,−0.5)，w=(0.5,−0.25)，浮点点积同样为 0.625。

常见 INT8 路径在 INT32 中累加，再乘 scale。分组 scale 不同的部分要分别缩放；不能先把所有组加完再随便乘一个 scale。

权重误差相同，对输出的影响可以差 100 倍

教学例子：x=(10,0.1)。误差 Δw=(0.01,0) 导致 Δy=0.1；误差 Δw=(0,0.01) 只导致 Δy=0.001。

scale 的搜索，是舍入损失与裁剪损失的交换

把少量 outlier 裁掉，能缩小 s，让大量常见数分得更细；代价是 outlier 自身误差变大。

for clip_limit in candidate_limits:
    scale = clip_limit / qmax
    W_hat = dequant(quant(W, scale), scale)
    loss = mean_square(X @ W.T - X @ W_hat.T)
choose_limit_with_smallest_loss_on_calibration_data()

这里优化的是教学线性层输出重构误差。部署前还要用独立评估集看困惑度、任务准确率和长上下文行为。

校准数据覆盖输入类型与长度；别用最终测试集挑参数，再把同一分数当成泛化效果。

group 越小越灵活，也越要多存元数据

b 是权重位宽，m 是每组 metadata 字节，g 是组大小。取 INT4、每组一个 FP16 scale：m=2。

有 zero-point、padding 或分组尾部时继续加账。真实文件与显存还含未量化层、索引、对齐与 workspace。

SmoothQuant 把激活的难点搬到权重

激活第 j 通道特别大时，把 X 的该通道除以 sⱼ，权重对应列乘以 sⱼ；浮点输出保持不变。

α 控制迁移程度：更大 α 更压低激活范围，同时让权重更难量化。使用校准数据选择折中，面向 W8A8 等路径。

等价变换只是起点。加入量化后是否变好，取决于新的 activation / weight 误差之和；scale 往往可融合进相邻算子。

W4A16 kernel 的真实工作不止“少读 4 倍”

一种常见路径是在片上把 W4 转成 FP16 再乘 A16。若先把整个矩阵反量化写回 HBM，再调用普通 GEMM，会吃掉很多带宽收益。

能否装下模型，要把权重和 KV 分开算

这里忽略未量化层、额外对齐与分配碎片；真实分配会更大。把权重改成 W4 不会自动把 4 GiB 的 KV 也改成 INT4。

先算带宽下界，再解释为什么实测没到它

教学设定：7B dense 权重，每个 decode step 全部读取；有效带宽 900 GB/s，暂不计 KV。

按这个账本，端到端加速约 15.56/6.01=2.59×。batch 增大后权重可被更多 token 复用，计算占比上升，收益还会变化。

实际应分别测 prefill、decode 与不同 batch；确认真的调用量化 kernel，再检查解包、访存和算力限制。

GPTQ 的目标是保住层输出，而非逐个权重

把校准激活转置为 A=Xᵀ∈ℝᴷˣᴹ。对一个输出通道，原权重为 w，量化误差为 δ=ŵ−w。

H 的对角项描述通道能量，非对角项描述通道相关性。只对每个 w 四舍五入，相当于没有利用这些相关性。

完整 Hessian 是 2H；比例因子不影响下面的最优补偿。实际会加 λI 让病态或低秩矩阵更稳定。

量化一列后，把误差分摊给仍可修改的列

推法：约束目标加上 λ(δⱼ+e)，求导得 2Hδᵀ+λeⱼ=0；用 δⱼ=−e 解出 λ，再代回。

手算两维补偿：让损失从 0.16 降到 0.12

这是量化当前列之后、下一列尚未量化时的条件最优值；下一列最终仍要落到自己的格点。

AWQ 用通道缩放保护更敏感的权重

激活更大的输入通道通常更敏感。把相应权重列放大，再把激活反向缩小，可以降低该通道反量化后的有效步长。

AWQ 不是把少数权重永远留在 FP16；核心是等价缩放，让统一的低位格式更好地保留重要通道。

算出整数码、重构值与打包字节

先自己算一遍，再展开解答。

一层 4096×4096，INT4 实际省多少？

先自己算一遍，再展开解答。

相关性反号，补偿也会反号吗？

先自己算一遍，再展开解答。

文件缩小了，为什么 prefill 反而慢了？

先自己算一遍，再展开解答。

从字节到线性层误差，跑完一条小实验

python3 lab.py
python3 lab.py --group-size 32

默认输出：INT4 codes=[−7,−2,2,7]；packed hex=e972；4.125 bits/weight；补偿目标 0.1600 → 0.1200；最后 PASS。

下载 lab.py

只需 Python 标准库。实验展示格式和重构目标，不实现完整 GPTQ/AWQ，也不代表 GPU kernel 性能。