神经机器翻译的篇章级单语修正模型

几年来，神经机器翻译迅速发展，google在2017年提出的Transformer模型[2]更是使得翻译质量大幅提升，在某些领域已经可以达到和人类媲美的水平[3]。然而，如今的大部分机器翻译系统仍是基于句子级的，无法利用篇章级的上下文信息，如何在机器翻译过程中有效利用篇章级信息是当今的研究热点之一。

随着基于自注意力机制的Transformer模型在机器翻译任务中广泛应用，许多之前基于循环神经网络（RNN）机器翻译模型的篇章级方法不再适用。最近，许多研究人员尝试对Transformer进行改进，在编码或解码阶段引入上下文信息。Voita等人[4]首先提出了一种基于Transformer的模型（图1）的篇章级翻译模型，在传统的模型之外，额外增加了一个上下文编码器（context encoder）用来编码上下文信息，然后和当前句子的编码结果进行融合，送到解码器。张嘉诚等人[5]采用了另外一种做法，分别在编码器和解码器中增加了一个上下文注意力（context attention）子层（图2）用来引入上下文信息。还有一些研究人员尝试使用二阶段（two-pass）模型的方式[6][7],首先进行句子级解码，然后使用一个篇章级解码器结合句子级解码结果和源语上下文编码来进行篇章级解码。此外，一些工作对篇章级翻译需要引入那些上下文信息进行了探究。

上述工作在机器翻译的过程中引入上下文信息，将篇章级翻译作为一个整体过程。这种方式建模更加自然，但是需要足够的篇章级双语数据进行训练。然而，实际中篇章级双语数据很难获取，作者就是针对篇章级双语数据稀缺的问题提出了DocRepair模型。

（编辑：平凉站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!