DeepSeek-V4-Pro 架构：
一个 token 的旅程

每个算子先对齐四个维度

B 是请求数，S 是本次处理的 token 数，d 是隐藏宽度。进入一个 Block 的残差多一条大小为 4 的轴。

decode 时通常 S=1；prefill 的 S 可以很大。B×S 决定 GEMM 行数。Mi 表示 2²⁰：1 MiB=2²⁰ 字节，1 Mi 个参数=2²⁰ 个参数。

低秩 Q：两次矩阵乘法接起来

qr = rms_norm(X @ Wq_a.T)
q = (qr @ Wq_b.T).reshape(B, S, H, 512)
q = q / sqrt(mean(q*q, axis=-1) + eps)
q[..., -64:] = RoPE(q[..., -64:], position)

两块权重共有 7168×1536 + 1536×65536 = 106.5 Mi 个参数。直接投影需要 448 Mi；低秩节省权重，但多出一次中间读写与归一化。

mHC 真正混合的是什么

B 做 20 轮 Sinkhorn 行列归一化，使行列和接近 1；pre 与 post 有自己的门控约束，不需要加和为 1。B 的两个轴分别对应旧流和新流。

四路加权成 5，子层只运行一次

取 F(z)=2z，得到 10。若 B=0.5I+0.125·11ᵀ，旧残差混成 [2.5,3.5,4.5,5.5]；post=[.25,.5,.75,1]，最终为 [5,8.5,12,15.5]。

局部和压缩记忆，共用一次归一化

局部条目和选中的压缩条目组成同一个候选集合。每个头还有 learned sink：它增加分母，没有对应的 value 输出。

输出投影也分组，并且降低中间维度

o = inverse_RoPE(o)
o = o.reshape(B, S, groups, 4096)
r = einsum("bsgd,grd->bsgr", o, Wo_a)
y = r.flatten(-2) @ Wo_b.T

每组包含 8 个头。第一段共 64 Mi 参数，第二段 112 Mi，共 176 Mi。Pro 与 Flash 每组输入相同，组数翻倍；更宽的 d 让第二段又增长 3.5 倍。

压缩是逐通道的 learned pooling

softmax 沿 token 轴做；每个通道可以重视不同 token。pooling 后做 RMSNorm，再对末尾 64 维施加 RoPE。

一个通道，逐项算出压缩结果

结果为 3.6。这里展示四个有效候选；第一组没有前一组，缺失位置的 gate 为 −∞、权重为 0。这只是归一化前的一个通道。

压缩条目必须等整组完成后才可见

visible = (t + 1) // ratio
valid = compressed_index < visible
if (t + 1) % ratio == 0:
    cache[t // ratio] = pool(completed_group)

prefill 可以并行算出整段的压缩条目，但每个 query 仍要加自己的因果 mask；否则前面的 token 会看到组内未来信息。

少读 KV 之前，Indexer 仍要给历史打分

Indexer 使用 64 个 128 维头，共享一份 128 维压缩索引缓存。w = weights_proj(x) / √128 / √64，可正可负；它不是 softmax 概率。TP 时先 all-reduce 分数，再选条目。

top-k 固定了主注意力读数，Indexer 的候选扫描仍随上下文增长。prefill 参考路径还会构建 query×候选分数，必须把这项计入临时显存。

Pro 的 CSA 和 HCA，成本交点在哪里

只看注意力点积与 value 聚合，约需 4×头数×读数×512 FLOP。32K 时，Pro 的 CSA 单 query 约 302 MFLOP；HCA 约 101 MFLOP。

这份账本不含投影、Indexer、压缩器和 kernel 调度。交点只是读数相等，不代表完整 kernel 延迟相等。

选谁和给多少权重，是两次计算

scores = sqrt(softplus(x @ Wgate.T))
if layer_id < 3:
    ids = tid2eid[token_id]        # 固定的 6 个专家 ID
else:
    ids = topk(scores + bias, k=6)
w = scores[ids] / scores[ids].sum()
w *= route_scale
y = sum(w[j] * expert[ids[j]](x) for j in range(6))
y += shared_expert(x)

专家选择可受 bias 影响，归一化权重取未加 bias 的 scores。Pro 的 route_scale=2.5，因此六个路由权重之和是 2.5，共享专家另外相加。

一个专家，三块矩阵

实际先把 up 限制在 [−10,10]、gate 上限设为 10，再做 SiLU 与逐元素乘法；路由权重融合在 W₂ 之前。表中未计 Attention、embedding、路由器、mHC 和 MTP。所有候选专家权重仍需存储。

同样是六个专家，为什么 Pro 更难喂满

教学观测：一次 decode 有 128 个 token，路由数固定为 6。Pro 每层 384 个专家，总计 768 次 token→expert 分配。

Flash 同样 batch 的平均值为 3。Pro 的专家矩阵更大、专家更多，两者一起改变调度效率；只比较激活参数会漏掉这一层。

为一个真实输入写出形状和字节数

先写出张量形状与单位，再代入数字。

给选择加 bias，别给权重加 bias

先写出张量形状与单位，再代入数字。

定位一个只在整组边界出现的错误

先写出张量形状与单位，再代入数字。

把推导变成可以检查的程序

用 NumPy 检查分组输出投影、Sinkhorn 行列和、路由 bias 与专家参数量。

python3 -m pip install numpy
python3 lab.py

grouped projection: equal
Sinkhorn max error < 1e-10
routing weights: [0.5, 2.0]
all checks passed

下载 lab.py

修改参数前先预测结果，再运行检查。实验使用小张量和解析预算，在 CPU 上执行。