DeepSeek-V4-Flash 架构：
一个 token 的旅程

每个算子先对齐四个维度

B 是请求数，S 是本次处理的 token 数，d 是隐藏宽度。进入一个 Block 的残差多一条大小为 4 的轴。

decode 时通常 S=1；prefill 的 S 可以很大。B×S 决定 GEMM 行数。Mi 表示 2²⁰：1 MiB=2²⁰ 字节，1 Mi 个参数=2²⁰ 个参数。

低秩 Q：两次矩阵乘法接起来

qr = rms_norm(X @ Wq_a.T)
q = (qr @ Wq_b.T).reshape(B, S, H, 512)
q = q / sqrt(mean(q*q, axis=-1) + eps)
q[..., -64:] = RoPE(q[..., -64:], position)

两块权重共有 4096×1024 + 1024×32768 = 36 Mi 个参数。直接投影需要 128 Mi；低秩节省权重，但多出一次中间读写与归一化。

mHC 真正混合的是什么

B 做 20 轮 Sinkhorn 行列归一化，使行列和接近 1；pre 与 post 有自己的门控约束，不需要加和为 1。B 的两个轴分别对应旧流和新流。

四路残差，算出一个具体输入

加权输入是 6。取 F(z)=2z=12、B=I、post=[.25,.5,.75,1]，新残差为 [5,10,15,20]。这些教学系数已给定；真实系数由当前残差动态生成。

局部和压缩记忆，共用一次归一化

局部条目和选中的压缩条目组成同一个候选集合。每个头还有 learned sink：它增加分母，没有对应的 value 输出。

输出投影也分组，并且降低中间维度

o = inverse_RoPE(o)
o = o.reshape(B, S, groups, 4096)
r = einsum("bsgd,grd->bsgr", o, Wo_a)
y = r.flatten(-2) @ Wo_b.T

每组包含 8 个头。第一段共 32 Mi 参数，第二段 32 Mi，共 64 Mi。把所有头直接映射回 d 需要 128 Mi 参数；这里两段合计 64 Mi。

压缩是逐通道的 learned pooling

softmax 沿 token 轴做；每个通道可以重视不同 token。pooling 后做 RMSNorm，再对末尾 64 维施加 RoPE。

一个通道，逐项算出压缩结果

结果为 7.4。这里展示四个有效候选；第一组没有前一组，缺失位置的 gate 为 −∞、权重为 0。这只是归一化前的一个通道。

压缩条目必须等整组完成后才可见

visible = (t + 1) // ratio
valid = compressed_index < visible
if (t + 1) % ratio == 0:
    cache[t // ratio] = pool(completed_group)

prefill 可以并行算出整段的压缩条目，但每个 query 仍要加自己的因果 mask；否则前面的 token 会看到组内未来信息。

少读 KV 之前，Indexer 仍要给历史打分

Indexer 使用 64 个 128 维头，共享一份 128 维压缩索引缓存。w = weights_proj(x) / √128 / √64，可正可负；它不是 softmax 概率。TP 时先 all-reduce 分数，再选条目。

top-k 固定了主注意力读数，Indexer 的候选扫描仍随上下文增长。prefill 参考路径还会构建 query×候选分数，必须把这项计入临时显存。

长上下文时，先数真正访问的条目

两个乘加阶段分别是 QK 和加权 value，合计约 4HCd。读数少了，但 Indexer 与压缩器仍需要计算；小 batch 也可能被 kernel 启动和不连续访问拖慢。

N=65,536 时 HCA 的压缩读数达到 512，与 CSA 的 top-k 相同；再往后 HCA 继续增长。

选谁和给多少权重，是两次计算

scores = sqrt(softplus(x @ Wgate.T))
if layer_id < 3:
    ids = tid2eid[token_id]        # 固定的 6 个专家 ID
else:
    ids = topk(scores + bias, k=6)
w = scores[ids] / scores[ids].sum()
w *= route_scale
y = sum(w[j] * expert[ids[j]](x) for j in range(6))
y += shared_expert(x)

专家选择可受 bias 影响，归一化权重取未加 bias 的 scores。Flash 的 route_scale=1.5，因此六个路由权重之和是 1.5，共享专家另外相加。

一个专家，三块矩阵

实际先把 up 限制在 [−10,10]、gate 上限设为 10，再做 SiLU 与逐元素乘法；路由权重融合在 W₂ 之前。表中未计 Attention、embedding、路由器、mHC 和 MTP。所有候选专家权重仍需存储。

短输入一致，长输入开始偏：检查边界

教学故障：参考输出与自写实现，在 3 token 时一致；4 token 时偏离；第 8 token 偏差再次增大。

从第一个不一致的张量往前找。若 pooled KV 已不同，调采样温度和路由器都不会修复；若 KV 一致，再检查因果索引与 joint softmax。

为一个真实输入写出形状和字节数

先写出张量形状与单位，再代入数字。

给选择加 bias，别给权重加 bias

先写出张量形状与单位，再代入数字。

定位一个只在整组边界出现的错误

先写出张量形状与单位，再代入数字。

把推导变成可以检查的程序

用 NumPy 对比整段与逐 token 的重叠 pooling，检查因果边界、路由 bias 与 mHC 数值。

python3 -m pip install numpy
python3 lab.py

prefill == streaming: True
pooled scalar: 7.400000
routing weights: [0.3, 1.2]
all checks passed

下载 lab.py

修改参数前先预测结果，再运行检查。实验使用小张量和解析预算，在 CPU 上执行。