David · 思考生长中http://124.223.202.120:8088AI、产品、教育与生活的个人思考给多模态 Agent 训一个评委：奖励模型的三次返工http://124.223.202.120:8088/posts/2026-09-07-reward-model-three-rewrites/http://124.223.202.120:8088/posts/2026-09-07-reward-model-three-rewrites/Mon, 07 Sep 2026 04:00:00 GMT为多模态规划 Agent 训 reward model 的完整过程。第一版一致率 77%、只比"全判合格"高 2.5 个点；查下去发现教师标签在纯文本回复上几乎是噪声。第二版修好了准确率，AUC 反而从 0.68 掉到 0.61——因为我把理由写在了判决前面，verdict token 的概率被写成了必然。第三版 AUC 0.91。三个失败里有两个是我自己设计错的。训练 Infra 02：显存账——把 85.6GB 峰值逐项拆开算http://124.223.202.120:8088/posts/2026-08-30-training-infra-02-memory-accounting/http://124.223.202.120:8088/posts/2026-08-30-training-infra-02-memory-accounting/Sun, 30 Aug 2026 04:00:00 GMT从一个参数在训练时占多少字节开始，反推出 35B MoE 的专家/非专家参数拆分，算清 bf16 权重、梯度 buffer、distributed optimizer 分片、激活与 logits 各吃多少，并复盘 FusedAdam 惰性初始化导致 39 卡静默死锁 5 小时的事故。训练 Infra 03：并行策略全景——为什么是 TP1 / PP1 / EP8 / DP40http://124.223.202.120:8088/posts/2026-08-30-training-infra-03-parallelism/http://124.223.202.120:8088/posts/2026-08-30-training-infra-03-parallelism/Sun, 30 Aug 2026 04:00:00 GMT逐个拆开 DP、ZeRO 1/2/3、Megatron distributed optimizer、TP、PP、EP、CP/SP，然后用 40 = 2³×5 这个整除约束和 PP bubble 公式，把本项目的并行选型完整推演一遍——结论是 TP=2 会让显存变得更差。训练 Infra 04：通信层与死锁诊断——5 小时静默死锁该怎么在 5 分钟内定位http://124.223.202.120:8088/posts/2026-08-30-training-infra-04-communication-and-deadlock/http://124.223.202.120:8088/posts/2026-08-30-training-infra-04-communication-and-deadlock/Sun, 30 Aug 2026 04:00:00 GMTNCCL 五个集体原语与通信量公式、通信计算重叠、watchdog 超时机制的作用与局限，以及一套死锁诊断方法论：GPU 利用率形态学、py-spy 全集群扫栈、flight recorder，附四次真实排障复盘。训练 Infra 05：框架景观——从 2.5 天到一夜跑完 2 epochhttp://124.223.202.120:8088/posts/2026-08-30-training-infra-05-framework-landscape/http://124.223.202.120:8088/posts/2026-08-30-training-infra-05-framework-landscape/Sun, 30 Aug 2026 04:00:00 GMT拆解 transformers+DeepSpeed 与 Megatron-core 在 MoE 长序列上约 10 倍的性能差从哪来，梳理 mcore/SWIFT/FSDP/verl 的分层定位与 vllm 在训练管线中的三个角色，并把 cu128 这条约束链完整画出来。训练 Infra 06：手把手算 MFU——8-10% 其实被低估了http://124.223.202.120:8088/posts/2026-08-30-training-infra-06-mfu-and-throughput/http://124.223.202.120:8088/posts/2026-08-30-training-infra-06-mfu-and-throughput/Sun, 30 Aug 2026 04:00:00 GMT用真实数字走一遍 6ND、recompute 系数 4/3、MFU 与 HFU 的区别，交叉校验到 tok/s 级别，然后指出两件被忽略的事：定长 padding 可能浪费 41%，而 6ND 在 49K 序列下漏掉的注意力项占总算力三到七成。训练 Infra 07：稳定性工程——失败模式、监控、checkpoint 与脏环境治理http://124.223.202.120:8088/posts/2026-08-30-training-infra-07-reliability-engineering/http://124.223.202.120:8088/posts/2026-08-30-training-infra-07-reliability-engineering/Sun, 30 Aug 2026 04:00:00 GMT把训练故障分成五类并给出各自的探测手段，用 Young/Daly 公式算出这套集群的最优 save_steps 约等于 77，并复盘"被 kill 的进程显存未释放导致新任务启动即 OOM"的脏启动竞态与根治方案。训练 Infra 08：从 SFT 到 RL——一套 infra 两个入口http://124.223.202.120:8088/posts/2026-08-30-training-infra-08-from-sft-to-rl/http://124.223.202.120:8088/posts/2026-08-30-training-infra-08-from-sft-to-rl/Sun, 30 Aug 2026 04:00:00 GMTRL 相比 SFT 新增的三块部件（rollout 引擎、reward 服务、权重同步），以及一个反直觉的约束：把卡分给 rollout 会让训练侧的专家 DP 组变小，16 卡训练直接 OOM——所以这 40 张卡最多只能让出一个节点。训练 Infra 01：算力、显存、带宽的三角，与一张集群带宽地图http://124.223.202.120:8088/posts/2026-08-29-training-infra-01-hardware-bandwidth-map/http://124.223.202.120:8088/posts/2026-08-29-training-infra-01-hardware-bandwidth-map/Sat, 29 Aug 2026 04:00:00 GMT从 H20 的机器平衡点讲起，解释为什么它是推理卡却在做训练，为什么 96GB 显存直接买通了 TP1 的并行设计，以及 NVLink/RoCE/NFS 三级带宽如何决定 EP8 与 DP40 的分工。大模型训练 Infra 实战课：用一次 35B MoE 后训练把原理讲透http://124.223.202.120:8088/posts/2026-08-29-training-infra-course-index/http://124.223.202.120:8088/posts/2026-08-29-training-infra-course-index/Sat, 29 Aug 2026 04:00:00 GMT以 40 卡 H20 集群上 Qwen3.6-35B-A3B(35B 总参 / 3B 激活 MoE)的 SFT+RL 后训练为教材的 8 节完整课程：从硬件带宽地图、显存账、并行选型、死锁诊断、框架对比、MFU 计算、稳定性工程一路讲到 RL infra 演进，所有公式都代入真实数字，附六次真实排障实录。多模态推理中的图片缓存：为什么视觉编码独立，KV Cache 仍受前缀顺序影响http://124.223.202.120:8088/posts/2026-08-23-multimodal-image-cache-and-kv-prefix-cache/http://124.223.202.120:8088/posts/2026-08-23-multimodal-image-cache-and-kv-prefix-cache/Sun, 23 Aug 2026 04:00:00 GMT区分 Base64 传输、视觉编码缓存与 LLM KV 前缀缓存，解释图片截断为何会影响后续文本命中，并给出上下文设计、监控与实验方法。一小时读懂 Pi、Hermes、DeepSeek Harness 与“自主进化”Agenthttp://124.223.202.120:8088/posts/2026-08-13-pi-hermes-self-evolving-agents/http://124.223.202.120:8088/posts/2026-08-13-pi-hermes-self-evolving-agents/Thu, 13 Aug 2026 04:00:00 GMT从源码拆解 Pi、Hermes、DeepSeek Harness 的执行循环、持久化、Skill 与自修改机制，并比较 GenericAgent 和 AgentEvolver 两种自主进化路线。AI 基础课 02：Embedding，模型如何把意义放进空间http://124.223.202.120:8088/posts/2026-07-16-ai-course-02-embedding/http://124.223.202.120:8088/posts/2026-07-16-ai-course-02-embedding/Thu, 16 Jul 2026 04:00:00 GMT从 one-hot、向量相似度到训练出来的语义坐标，建立理解检索、注意力和大模型输入层的共同地基。从一个家庭教育想法，到真正能玩的 AI 启蒙产品http://124.223.202.120:8088/posts/2026-07-14-building-ai-home-education/http://124.223.202.120:8088/posts/2026-07-14-building-ai-home-education/Tue, 14 Jul 2026 04:00:00 GMT最近，我和 AI 一起把一个模糊的家庭教育设想，推进成了可运行、可部署、正在走向微信小程序的幼升小产品。为什么重新开始写博客http://124.223.202.120:8088/posts/2026-07-14-why-this-blog/http://124.223.202.120:8088/posts/2026-07-14-why-this-blog/Tue, 14 Jul 2026 04:00:00 GMT当 AI 可以生成无限文字，个人写作反而更需要明确：哪些判断真正属于自己。和 AI 一起做产品，人的价值在哪里http://124.223.202.120:8088/posts/2026-07-13-building-with-ai/http://124.223.202.120:8088/posts/2026-07-13-building-with-ai/Mon, 13 Jul 2026 04:00:00 GMT当实现速度越来越快，定义问题、感受用户和承担结果正在成为更重要的能力。