编码预训练语言模型（Encoder-only Pre-trained Models）

编码预训练语言模型（Encoder-only Pre-trained Models）在预训练过程中只利用原始 Transformer 模型中的编码器。相 应的预训练任务通常选用掩码语言建模任务（Masked Language Modeling）， 即掩码住（用特殊字符 [MASK] 替换）输入句子中一定比例的单词后，要 求模型根据上下文信息去预测被遮掩的单词。其中有有代表性的工作包括 BERT[2]，ALBERT[27]，RoBERTa[28]等。表 2.1列举该架构下的若干经典模 型。

BERT BERT 模型是经典的编码预训练语言模型，其通过掩码语言建 模和下一句预测任务，对 Transformer 模型的参数进行预训练。

ALBERT ALBERT 是一个轻量化的 BERT 模型，作者通过分解词向量 矩阵和共享 Transformer 层参数来减少模型参数个数。

RoBERTa 相较于 BERT 模型，RoBERTa 在预训练阶段，采用了更多的 语料以及动态掩码机制（不同轮次同一样本掩码不同的单词），去掉了下一 句预测任务，同时采用了更大的批大小。