- scaling
- optimization
- muP
- muP-tutorial
•
•
•
-
ELDE：一种科学实用的 Critical Batch Size 估计方法
基于之前介绍的两大类 CBS 估计方法，博采众长，提出了一种科学实用的 CBS 估计方法。
-
论文阅读：Critical Batch Size 估计方法的近期进展
针对 OpenAI 原始 CBS 论文的问题，选取介绍两类 CBS 估计方法的近期进展。
-
经典回顾：OpenAI Critical Batch Size
回顾总结 OpenAI 的 CBS 经典工作 An Empirical Model of Large-Batch Training。
-
muP 漫游 (一)：muP 是什么？我们为何需要 muP？
介绍大模型训练的两大难题，简单理论分析 standard practice 的缺陷，从而引出 muP 概念并介绍其作用。