Paper | 机器翻译里程碑,多语言机器翻译模型 M2M-100

(给机器学习算法与Python学习加星标,提升AI技能)

荐语:

多语言机器翻译模型 M2M-100 不依赖以英语为中心的数据,可以实现 100 种语言之间的相互翻译。

论文:Beyond English-Centric Multilingual Machine Translation
  • 作者:Angela Fan、Shruti Bhosale、Holger Schwenk 等

  • 论文链接:https://ai.facebook.com/research/publications/beyond-english-centric-multilingual-machine-translation

摘要:近日,Facebook 根据多年对 MT 的研究宣布实现了一个重要的里程碑:首个单一的大规模 MMT 模型,该模型可以实现 100x100 个语言对的直接翻译,而不依赖以英语为中心的数据。这个单一的多语言模型表现得和传统双语模型一样好,并且比以英语为中心的多语言模型提高了 10 个 BLEU 点。
具体而言,通过使用新的挖掘策略来创建翻译数据,该研究构建了首个真正的多对多数据集。该数据集拥有 100 种语言的 75 亿个句子。研究者使用可扩展技术来建立具有 150 亿个参数的通用模型,它从相关语言中捕获信息,并反映出更加多样化的语言文字和词法。目前,这项研究已经开源。
多对多数据集和多语言模型示意图。

训练语料库中桥梁语言的数据量。
多对多和以英语为中心语言模型的比较。在包含英语的评估方向上,多对多模型与以英语为中心模型的性能相当,但在非英语方向上的性能要好得多。

(0)

相关推荐