ML 学习站
跳到正文
课程目录深度学习优化与训练调优
进阶优化SGDAdam训练技巧

深度学习优化与训练调优

梯度下降收敛原理 + 5 种优化器 + 训练调优实战 (loss 震荡 / 早停 / 梯度裁剪 / 学习率调度)。综合 D2L 第 11 章 + 工业经验。

总时长 约 2.5 小时3 个章节ML 学习站 (基于李沐《动手学深度学习》第 11 章)
开始学习 · 梯度下降收敛原理

你将学到

  • 围绕「优化」主题展开的系统化训练
  • 围绕「SGD」主题展开的系统化训练
  • 围绕「Adam」主题展开的系统化训练
  • 围绕「训练技巧」主题展开的系统化训练

章节目录

共 3 章, 建议按顺序学习。

  1. 01

    梯度下降收敛原理

    45 分钟

    深度学习的优化挑战 + 凸性 + 梯度下降收敛性证明 + SGD / 小批量 SGD。

  2. 02

    深度学习优化器

    40 分钟

    Momentum / AdaGrad / RMSProp / Adam / AdamW 原理 + 怎么选。

  3. 03

    训练调优实战

    40 分钟

    Loss 震荡诊断 + 学习率调度 + Early stop + 梯度裁剪 + PyTorch 完整训练模板。