scaling law

Scaling law，尺度定律，是一种描述系统随着规模的变化而发生的规律性变化的数学表达。在大语言模型中，尺度定律描述了模型的性能、参数量大小、训练数据大小和计算量之间的关系。核心结论是，模型性能与计算量、模型参数量、数据集大小等因素都呈现幂律关系。

• 尺度定律定义：描述系统随规模变化而发生的规律性变化的数学表达1。
• 应用：在大语言模型中，尺度定律描述了模型性能、参数量大小、训练数据大小和计算量之间的关系1。
• 核心结论：模型性能与计算量、模型参数量、数据集大小等因素都呈现幂律关系1。