🧑🏻💻 你不知道的大模型训练：原理、路径与新实践
今天这篇是「你不知道的」系列第三篇，写完 Claude Code 和 Agent 之后，想着继续挑战一下，把大模型训练到底怎么回事梳理清楚，尽量让非专业背景的人也能读懂。
刚开始我也以为模型变强就是参数堆大、数据喂多。后来发现用户真正感受到的那些提升，大部分不是来自预训练，而是来自它后面那整套流程：后训练、评测、奖励、Agent 训练、蒸馏，每一层都在影响最终体感。InstructGPT 当年有个数字，1.3B 做过对齐的模型，人类偏好评测里能赢过 175B 的 GPT-3，差了两个数量级，但用户更喜欢那个小的。
这篇文章想聊清楚这几个点：训练为什么是条流水线、数据配方怎么决定能力分布、系统约束为什么要在训练前就想清楚、后训练到底在调什么、奖励模型和 RLHF 怎么回事、蒸馏怎么把大模型能力压进小模型，以及 Agent 训练和部署侧还有哪些工程现实。
信息来源：TG频道@NewlearnerChannel