https://hs-black.github.io/ Zunzhe Zhang 的博客：大模型、具身智能、实验与想法。 zh-CN https://hs-black.github.io/posts/llm-engineering/ https://hs-black.github.io/posts/llm-engineering/ Tue, 20 Oct 2026 08:00:00 +0800 九个阶段串起模型计算、GPU 算子、缓存、推理引擎、服务压测、微调、真实架构和多模态；每阶段都有先修、验收任务与实验，最后完成最小推理引擎。 https://hs-black.github.io/posts/mini-inference-engine/ https://hs-black.github.io/posts/mini-inference-engine/ Tue, 20 Oct 2026 08:00:00 +0800 用可运行的 NumPy Transformer 串起正确前向、GQA、RoPE、分页 KV、连续调度、采样和测量；含独立参考检查、三种故障注入、四道习题与实验记录模板。 https://hs-black.github.io/posts/tensor-layouts/ https://hs-black.github.io/posts/tensor-layouts/ Tue, 20 Oct 2026 08:00:00 +0800 从逻辑索引推导真实地址，拆解 transpose、reshape、合并访存与 shared memory bank；含逐步动画、复制成本计算、排错习题和 NumPy 实验。 https://hs-black.github.io/posts/gemm-optimization/ https://hs-black.github.io/posts/gemm-optimization/ Tue, 20 Oct 2026 08:00:00 +0800 从矩阵乘法的 FLOPs 与字节账本推导分块复用、shared memory、寄存器与 Tensor Core，含尾块动画、性能诊断、计算题、CPU 实验和完整 Triton 示例。 https://hs-black.github.io/posts/cuda-streams/ https://hs-black.github.io/posts/cuda-streams/ Tue, 20 Oct 2026 08:00:00 +0800 从命令队列、跨流依赖与双缓冲到存储寿命、关键路径和正确计时；含可回放时间线、计算题、CPU 调度实验与 CUDA 示例。 https://hs-black.github.io/posts/torch-compile/ https://hs-black.github.io/posts/torch-compile/ Tue, 20 Oct 2026 08:00:00 +0800 从 FX 图、算子融合与 guards 到动态形状、重编译、分桶和冷启动摊销；含内存流量动画、计算题、缓存模型与真实 PyTorch 实验。 https://hs-black.github.io/posts/rope-long-context/ https://hs-black.github.io/posts/rope-long-context/ Tue, 20 Oct 2026 08:00:00 +0800 从二维旋转推导相对位置，逐步计算频率、插值与 YaRN，排查 KV cache 位置和精度问题；含旋转动画、计算题与 NumPy 实验。 https://hs-black.github.io/posts/sampling-structured-decoding/ https://hs-black.github.io/posts/sampling-structured-decoding/ Tue, 20 Oct 2026 08:00:00 +0800 从 logits、temperature、top-k/top-p 到 token 级语法约束、状态回滚与投机验证，结合概率动画、JSON 栈、计算题和可运行采样实验。 https://hs-black.github.io/posts/inference-benchmarking/ https://hs-black.github.io/posts/inference-benchmarking/ Tue, 20 Oct 2026 08:00:00 +0800 从请求时间戳、开放负载与尾延迟到 goodput：用排队动画、容量计算、诊断案例和 CPU 实验建立可复现的压测方法。 https://hs-black.github.io/posts/prefill-decode-disaggregation/ https://hs-black.github.io/posts/prefill-decode-disaggregation/ Tue, 20 Oct 2026 08:00:00 +0800 从逐卡数据流与 KV 传输算起，推导排队、资源配比、缓存生命周期和多轮一致性；配计算题与可运行的交接实验。 https://hs-black.github.io/posts/lora-qlora/ https://hs-black.github.io/posts/lora-qlora/ Tue, 20 Oct 2026 08:00:00 +0800 从低秩更新、梯度与初始化到 NF4、double quant 和完整显存账本；含数值动画、工程诊断、计算题与 NumPy 微调实验。 https://hs-black.github.io/posts/multi-adapter-serving/ https://hs-black.github.io/posts/multi-adapter-serving/ Tue, 20 Oct 2026 08:00:00 +0800 从共享底座与异构 rank 分组到 adapter 驻留、原子准入、预取、版本和 KV 隔离；含数据流动画、计算题与 CPU 服务实验。 https://hs-black.github.io/posts/multimodal-inference/ https://hs-black.github.io/posts/multimodal-inference/ Tue, 20 Oct 2026 08:00:00 +0800 从图像 patch、视频时间网格到视觉编码、语言 KV、调度与缓存，逐项计算多模态推理成本，附动画、计算题和可运行 CPU 实验。 https://hs-black.github.io/posts/vla-inference/ https://hs-black.github.io/posts/vla-inference/ Tue, 20 Oct 2026 08:00:00 +0800 从视觉语言输入到动作 token、flow matching 与 action chunk，推导单位、坐标、时延和闭环误差，附动画、习题与纯 CPU 仿真。 https://hs-black.github.io/posts/deepseek-v4-flash/ https://hs-black.github.io/posts/deepseek-v4-flash/ Tue, 20 Oct 2026 00:00:00 +0800 从张量形状、mHC、逐通道压缩、因果边界和 MoE 路由深入理解 V4-Flash，含数值动画、工程分析、习题解答与可运行实验。 https://hs-black.github.io/posts/deepseek-v4-flash-inference/ https://hs-black.github.io/posts/deepseek-v4-flash-inference/ Tue, 20 Oct 2026 00:00:00 +0800 逐卡推导 V4-Flash 推理的权重与缓存容量、FP4 scale、prefill 峰值、FP32 通信和关键路径，含计算题、排错案例与 CPU 实验。 https://hs-black.github.io/posts/deepseek-v4-pro/ https://hs-black.github.io/posts/deepseek-v4-pro/ Tue, 20 Oct 2026 00:00:00 +0800 从张量形状、mHC、逐通道压缩、因果边界和 MoE 路由深入理解 V4-Pro，含数值动画、工程分析、习题解答与可运行实验。 https://hs-black.github.io/posts/deepseek-v4-pro-inference/ https://hs-black.github.io/posts/deepseek-v4-pro-inference/ Tue, 20 Oct 2026 00:00:00 +0800 逐卡推导 V4-Pro 推理的权重与缓存容量、FP4 scale、prefill 峰值、FP32 通信和关键路径，含计算题、排错案例与 CPU 实验。 https://hs-black.github.io/posts/kv-cache/ https://hs-black.github.io/posts/kv-cache/ Tue, 20 Oct 2026 00:00:00 +0800 从 QKV 张量、增量位置与 causal mask 到 GQA 分片、显存和带宽预算；附数值动画、工程诊断、计算题与 NumPy 正确性实验。 https://hs-black.github.io/posts/kv-cache-compression/ https://hs-black.github.io/posts/kv-cache-compression/ Tue, 20 Oct 2026 00:00:00 +0800 推导 GQA 与 MLA 的缓存形状，计算量化误差、分组元数据和残差区预算；附性能诊断、课后习题与可运行压缩实验。 https://hs-black.github.io/posts/sparse-attention/ https://hs-black.github.io/posts/sparse-attention/ Tue, 20 Oct 2026 00:00:00 +0800 从稀疏 softmax 到选择器成本、块利用率、因果索引与 kernel 布局；用数值动画、算术练习和 CPU 实验验证正确性。 https://hs-black.github.io/posts/linear-attention/ https://hs-black.github.io/posts/linear-attention/ Tue, 20 Oct 2026 00:00:00 +0800 推导递推、并行与分块等价，分析状态容量、门控权重与 delta rule 稳定性；附数值动画、计算题和 NumPy 实验。 https://hs-black.github.io/posts/paged-attention/ https://hs-black.github.io/posts/paged-attention/ Tue, 20 Oct 2026 00:00:00 +0800 从 KV 容量与地址计算，到块池分配、COW、引用计数和 OOM 抢占；配有计算动画、三道习题与可运行的分页模拟。 https://hs-black.github.io/posts/continuous-batching/ https://hs-black.github.io/posts/continuous-batching/ Tue, 20 Oct 2026 00:00:00 +0800 手算每轮调度、TTFT 和 ITL，理解 chunked prefill、显存准入、公平性与过载；附时间轴动画、习题和离散事件实验。 https://hs-black.github.io/posts/prefix-caching/ https://hs-black.github.io/posts/prefix-caching/ Tue, 20 Oct 2026 00:00:00 +0800 从哈希链与满块边界，到计算身份、引用驱逐、显存收益和延迟模型；附数值演算、三道练习与缓存模拟代码。 https://hs-black.github.io/posts/speculative-decoding/ https://hs-black.github.io/posts/speculative-decoding/ Tue, 20 Oct 2026 00:00:00 +0800 从概率质量守恒推导投机采样，手算接受长度与加速比，排查 logits/KV 对齐；含数值动画、4 道练习和可运行 CPU 实验。 https://hs-black.github.io/posts/dspark/ https://hs-black.github.io/posts/dspark/ Tue, 20 Oct 2026 00:00:00 +0800 深入 DSpark 的 Markov 张量、接受率训练、置信度校准与因果预算调度；手算吞吐和选择偏差，配 3 道练习及 CPU 模拟实验。 https://hs-black.github.io/posts/llm-quantization/ https://hs-black.github.io/posts/llm-quantization/ Tue, 20 Oct 2026 00:00:00 +0800 从 INT4 编码与元数据算到量化 kernel、GPTQ 补偿、AWQ 和 SmoothQuant；含显存/带宽账本、4 道计算练习及可运行实验。 https://hs-black.github.io/posts/distributed-inference/ https://hs-black.github.io/posts/distributed-inference/ Tue, 20 Oct 2026 00:00:00 +0800 从张量形状和手算 MLP 推导 TP、PP、EP，计算每卡显存、ring 通信与流水线空泡，用诊断案例、习题和 Python 实验分析部署方案。 https://hs-black.github.io/posts/cpu-overhead/ https://hs-black.github.io/posts/cpu-overhead/ Tue, 20 Oct 2026 00:00:00 +0800 用异步队列递推、CUDA 计时、Nsight trace 和 Amdahl 定律定位 CPU 开销，分析吞吐与尾延迟，配计算题和可运行的提交队列实验。 https://hs-black.github.io/posts/cuda-graph/ https://hs-black.github.io/posts/cuda-graph/ Tue, 20 Oct 2026 00:00:00 +0800 从固定存储与输出别名到真实 PyTorch capture/replay，计算形状桶、显存预算和回本次数，配习题、CPU 模拟及可下载 CUDA 实验。 https://hs-black.github.io/posts/flash-attention/ https://hs-black.github.io/posts/flash-attention/ Tue, 20 Oct 2026 00:00:00 +0800 推导 online softmax 与 attention 反向，演算 tile 资源、并行与流水线成本；含 PyTorch 用法、排查案例、三道习题和可运行的 NumPy 前反向实验。 https://hs-black.github.io/posts/rmsnorm-kernel/ https://hs-black.github.io/posts/rmsnorm-kernel/ Mon, 19 Oct 2026 00:00:00 +0000 从逐项数值与反向推导到 CUDA/Triton 归约、向量化、寄存器与带宽账本；加入精度排查、计算题、梯度差分验证和可运行 CPU 实验。 https://hs-black.github.io/posts/gradient-checkpointing/ https://hs-black.github.io/posts/gradient-checkpointing/ Mon, 19 Oct 2026 00:00:00 +0000 从激活生命周期推导分段重算的显存和时间成本，分析随机数、non-reentrant、FSDP 与排查；含计算题、梯度验证和 NumPy/PyTorch 动手实验。 https://hs-black.github.io/posts/optimizers/ https://hs-black.github.io/posts/optimizers/ Mon, 19 Oct 2026 00:00:00 +0000 一套动画幻灯片：把 GD、动量、Nesterov、AdaGrad、RMSProp、Adam、AdamW、Lion、Adafactor、Shampoo 和 Muon 放到同一片 loss 地形上实际跑一遍，附可交互的优化器游乐场。 https://hs-black.github.io/posts/deepseek-v4/ https://hs-black.github.io/posts/deepseek-v4/ Mon, 19 Oct 2026 00:00:00 +0000 拆解 DeepSeek-V4：CSA/HCA 注意力、mHC、Muon、FP4 QAT 与多教师蒸馏，附成本计算器。 https://hs-black.github.io/posts/qwen3-next/ https://hs-black.github.io/posts/qwen3-next/ Mon, 19 Oct 2026 00:00:00 +0000 从线性注意力推到 Gated DeltaNet、门控注意力、3:1 混合、512 专家 MoE 与 MTP。 https://hs-black.github.io/posts/kimi-k3/ https://hs-black.github.io/posts/kimi-k3/ Mon, 19 Oct 2026 00:00:00 +0000 精读 Kimi K3：有下界的 KDA、注意力残差、Stable LatentMoE 与分位数均衡，以及 1M 上下文系统。 https://hs-black.github.io/posts/kimi-k2/ https://hs-black.github.io/posts/kimi-k2/ Mon, 19 Oct 2026 00:00:00 +0000 精读 Kimi K2：Muon 与 QK-Clip 推导、数据改写、超稀疏 MoE、训练基础设施、Agent 数据合成与 RL。 https://hs-black.github.io/posts/kimi-linear/ https://hs-black.github.io/posts/kimi-linear/ Mon, 19 Oct 2026 00:00:00 +0000 从线性注意力、DeltaNet 到 KDA：通道级门控、分块并行算法、3:1 混合与 NoPE、效率实验。 https://hs-black.github.io/posts/smol-decisions/ https://hs-black.github.io/posts/smol-decisions/ Mon, 19 Oct 2026 00:00:00 +0000 该不该训、训什么、怎样用小规模消融做决策，以及评测噪声与消融成本。 https://hs-black.github.io/posts/smol-architecture/ https://hs-black.github.io/posts/smol-architecture/ Mon, 19 Oct 2026 00:00:00 +0000 MHA/GQA/MLA 与 KV cache、文档掩码、RoPE/NoPE、稳定性技巧、MoE 设计与混合模型。 https://hs-black.github.io/posts/smol-optim-data/ https://hs-black.github.io/posts/smol-optim-data/ Mon, 19 Oct 2026 00:00:00 +0000 BPE 与分词器评估、AdamW 与 Muon、学习率调度、batch size 与超参 scaling law、数据配比。 https://hs-black.github.io/posts/smol-marathon/ https://hs-black.github.io/posts/smol-marathon/ Mon, 19 Oct 2026 00:00:00 +0000 SmolLM3 长跑实录：起跑清单、四个谜案、loss spike 诊断、多阶段 mid-training 与长上下文扩展。 https://hs-black.github.io/posts/smol-post-training/ https://hs-black.github.io/posts/smol-post-training/ Mon, 19 Oct 2026 00:00:00 +0000 后训练全流程：评测先行、chat template 与掩码、SFT 调参、推理 mid-training、DPO/APO 推导、GRPO 与长度惩罚。 https://hs-black.github.io/posts/smol-infrastructure/ https://hs-black.github.io/posts/smol-infrastructure/ Mon, 19 Oct 2026 00:00:00 +0000 H100 内部、PCIe/NVLink/EFA 实测带宽、nccl-tests、存储分层、节点健康与 checkpoint，以及该用多少卡。 https://hs-black.github.io/posts/scaling-memory/ https://hs-black.github.io/posts/scaling-memory/ Mon, 19 Oct 2026 00:00:00 +0000 一步训练里显存花在哪、FLOPs 怎么数、MFU 怎么算：从 16 字节/参数推到 6ND，附显存计算器与训练时长估算器。 https://hs-black.github.io/posts/scaling-roofline/ https://hs-black.github.io/posts/scaling-roofline/ Mon, 19 Oct 2026 00:00:00 +0000 一个运算到底卡在算力、显存带宽还是网络上：算术强度、roofline 图、矩阵乘法的临界 batch，以及 TPU 与 GPU 的硬件结构。 https://hs-black.github.io/posts/scaling-collectives/ https://hs-black.github.io/posts/scaling-collectives/ Mon, 19 Oct 2026 00:00:00 +0000 从 broadcast 到 all-to-all，推导环形集合通信的代价，再用分片记号讲清分片矩阵乘法。 https://hs-black.github.io/posts/scaling-data-parallel/ https://hs-black.github.io/posts/scaling-data-parallel/ Mon, 19 Oct 2026 00:00:00 +0000 从朴素数据并行讲到 ZeRO-1/2/3 与 FSDP：通信重叠、分桶、no_sync、显存公式与通信瓶颈。 https://hs-black.github.io/posts/scaling-tensor-parallel/ https://hs-black.github.io/posts/scaling-tensor-parallel/ Mon, 19 Oct 2026 00:00:00 +0000 从矩阵乘法的两种切法讲起：Megatron 张量并行、f/g 算子、词表并行、序列并行与通信量。 https://hs-black.github.io/posts/scaling-context-parallel/ https://hs-black.github.io/posts/scaling-context-parallel/ Mon, 19 Oct 2026 00:00:00 +0000 长序列训练怎么切激活：online softmax 合并、Ring Attention、zig-zag 负载均衡与 Ulysses。 https://hs-black.github.io/posts/scaling-pipeline/ https://hs-black.github.io/posts/scaling-pipeline/ Mon, 19 Oct 2026 00:00:00 +0000 交互幻灯片：推导 AFAB、1F1B、交错、Zero Bubble 与 DualPipe 的气泡与显存，附调度模拟器。 https://hs-black.github.io/posts/scaling-moe/ https://hs-black.github.io/posts/scaling-moe/ Mon, 19 Oct 2026 00:00:00 +0000 从路由器、容量、负载均衡损失到无辅助损失偏置，再到专家并行的 all-to-all 与通信成本。 https://hs-black.github.io/posts/scaling-5d/ https://hs-black.github.io/posts/scaling-5d/ Mon, 19 Oct 2026 00:00:00 +0000 DP、TP、CP、PP、EP 各切什么、通信放在网络哪层、怎么组合，附配置规划器与设备网格演示。 https://hs-black.github.io/posts/scaling-jax/ https://hs-black.github.io/posts/scaling-jax/ Mon, 19 Oct 2026 00:00:00 +0000 用 mesh、PartitionSpec、shard_map 写分片程序，读懂 HLO 与 profile，分清计算、通信与空闲。 https://hs-black.github.io/posts/scaling-gpu-kernels/ https://hs-black.github.io/posts/scaling-gpu-kernels/ Mon, 19 Oct 2026 00:00:00 +0000 从 SM、warp、内存层级讲起，到访存合并、分块、融合、Triton，再到 FlashAttention 1–3 的推导与实现。 https://hs-black.github.io/posts/scaling-mixed-precision/ https://hs-black.github.io/posts/scaling-mixed-precision/ Mon, 19 Oct 2026 00:00:00 +0000 浮点格式、舍入、损失缩放、FP32 主权重，到 FP8 的缩放策略、DeepSeek-V3 的细粒度量化与 MX/NVFP4 微缩放。 https://hs-black.github.io/posts/scaling-inference/ https://hs-black.github.io/posts/scaling-inference/ Mon, 19 Oct 2026 00:00:00 +0000 从 KV cache 到投机解码：推导解码为什么受带宽限制、延迟下界、吞吐与延迟的权衡，以及 LLaMA-3-70B 的服务账本。 https://hs-black.github.io/posts/next-token/ https://hs-black.github.io/posts/next-token/ Mon, 19 Oct 2026 00:00:00 +0000 用 8 页动画讲清楚大模型生成文本的循环：切词、打分、采样、再来一遍。 https://hs-black.github.io/posts/hello-world/ https://hs-black.github.io/posts/hello-world/ Mon, 19 Oct 2026 00:00:00 +0000 这个博客怎么搭的，以及一个可以拖动的 temperature 采样演示。