文本生成：Transformer架构实现并行处理，提升模型训练效率

RNN架构局限在于无法并行运算。RNN计算是有时序依赖的，需要用到前一个时间步或者后一个时间步的信息，这导致它难 以并行计算，只能串行计算。GPU的并行化能够大大加速计算过程，如果模型不能够并行计算，会导致运算速度很低。

Transformer架构引入Self-attention自注意力机制可取代RNN。

2017年，Google发布《Attention is All You Need》Transformer模型通过采用Self-Attention 自注意力机制，完全抛弃了传统RNN在水平方向的传播，只在垂直方向上传播，只需要不断叠加Self-Attention层即可。这样，每一层的计算都可以并行进行，可以使用GPU进行加速。