文本生成：NLP重要任务标之一神经网络生成法为主流趋势

文本生成(Text Generation)是自然语言处理(NLP)的重要任务之一，从非语言的表示生成人类可以理解的文本，文本→文本、 数据→文本都是文本生成任务关注的

RNN架构局限在于无法并行运算。RNN计算是有时序依赖的，需要用到前一个时间步或者后一个时间步的信息，这导致它难 以并行计算，只能串行计算。GPU的并行化能够大大加速计算过程，如果模型不能够并行计算，会导致运算速度很低。

Transformer架构引入Self-attention自注意力机制可取代RNN。

2017年，Google发布《Attention is All You Need》Transformer模型通过采用Self-Attention 自注意力机制，完全抛弃了传统RNN在水平方向的传播，只在垂直方向上传播，只需要不断 叠加Self-Attention层即可。这样，每一层的计算都可以并行进行，可以使用GPU进行加速。