GPT-4的一大重点是构建大范围可预测的深度学习堆栈

简而言之，该堆栈（stack， 论文中也叫基础设施和优化方法）能够通过评估小计算量模型的性能，准确预测大计算量模型的性能，减少训练成本。以 GPT-4 为例，虽然官方未给出具体的模型参数，但是指出 对于 GPT-4 这样的大型训练，进行广泛的特定于模型的调优是不可行的。而大范围可预测的深度学习堆栈，能够通过计算比 GPT-4 计算量少 1000x-10000x（x 代表倍）的模型性能， 预测出“完全体”GPT-4 的性能，实现在训练之前了解模型的功能，并及时改善关于对齐、 安全性和部署的决策。该方法的理论依据是：经过适当训练的大型语言模型的终损失， 很好地近似于用于训练模型的计算量的幂律。

除了预测终损失，还可以使用其他可解释的能力指标进行预测。其中一个指标是 HumanEval 数据集的通过率。HumanEval 数据集衡量的是合成不同复杂度的 Python 函数 的能力。通过计算比 GPT-4 计算量少 1000x 模型在 HumanEval 数据集子集的通过率，成 功预测了 GPT-4 在 HumanEval 数据集子集的通过率。