训练曲线诊断与过拟合排障(Training Monitoring & Loss Audit)

核心原理

在 LLM Fine-Tuning Hands-on Lab 与 mlabonne/llm-course 中,启动微调脚本只是开始,能否读懂 Weights & Biases (WandB) 或 TensorBoard 上的 Train Loss(训练损失)、Eval Loss(验证损失)与 Gradient Norm(梯度范数) 曲线,才是区分新手与老手的分水岭: 典型过拟合(Overfitting):Train Loss 一路陡降趋近于 0.1,但 Eval Loss 在第 1 个 Epoch 后开始掉头向上反弹!

此时模型已经沦为“死记硬背训练集的复读机”,丧失了通用推理能力。

Loss 尖峰与梯度爆炸(Loss Spikes & Gradient Explosion):训练中途梯度范数突然飙升、Loss 变成 NaN,通常是因为学习率过大、缺少 Warmup 预热步数,或混入了极长/格式损坏的脏数据样本。

注意 SFT 的能力边界:SFT 的本质是“教模型学会回答的格式与说话⻛格,激活预训练已有知识”,绝不能靠少量 SFT 样本去强行灌输海量全新的实时事实(新事实应走 RAG,强行 SFT 只会加剧幻觉)。

第 4 关实操练习题：诊断三组异常微调监控日志并开出调参处方

任务背景

团队实习生跑了三次微调实验,分别出现了:1 第 2 轮起验证集 Loss 持续上升且模型回答变成机械背诵;2 开局第 15 步 Loss 突变为 NaN 崩溃;3 微调了 500 条公司今年最新产品价格表后,模型依然经常报价错误。

通关硬性要求（满分 12.5 分）

1. 针对实验1(过拟合),给出至少 3 项具体的参数调整或数据改进措施(

4.5 分);

2. 针对实验2(开局梯度爆炸 NaN),从学习率调度(Warmup)、梯度裁剪(max_grad_norm)与脏数据排查三个角度给出修复方案(

4.5 分);

3. 针对实验3,从“SFT 与 RAG 的职责边界”角度解释为什么用 500 条问答微调记不住精确价格表,并给出正确架构建议(

3.5 分)。 第三阶段:对⻬与融合篇(第 5‒6 关)——偏好对⻬(DPO/GRPO)、模型融合与科学评测