5月10日,F(xiàn)acebook發(fā)布了一項(xiàng)新的機(jī)器翻譯技術(shù),使用CNN技術(shù)而非傳統(tǒng)的RNN,在翻譯準(zhǔn)確度超越了此前被認(rèn)為是2016年10大AI突破技術(shù)的谷歌機(jī)器翻譯,并且翻譯速度上快了9倍。Facebook稱,在速度上,新的機(jī)器翻譯系統(tǒng)創(chuàng)下新的世界紀(jì)錄。 本文帶來(lái)對(duì)基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯(NMT)技術(shù)的研究狀況介紹和對(duì)比。我們看到:這一技術(shù)在過(guò)去兩年中已經(jīng)成為AI 界的一個(gè)熱點(diǎn)研究,在未來(lái)還會(huì)更加火熱。
學(xué)術(shù)界對(duì)神經(jīng)機(jī)器翻譯(NMT)的研究興趣不減。今年到5月份為止,在開放存取論文網(wǎng)站 arXiv.org 上發(fā)表的有關(guān) NMT 的研究論文數(shù)量幾乎相當(dāng)于2016年全年的該主題論文數(shù)量。這個(gè)數(shù)字印證了我們?cè)谌ツ甑最A(yù)測(cè)的趨勢(shì)。
截至5月7日,arXiv.org 存儲(chǔ)庫(kù)中在標(biāo)題或摘要中包含 NMT 的論文共有137篇,其中2014年發(fā)表的只有7篇,2015年增加到11篇。發(fā)生突破的是2016年,發(fā)表的論文達(dá)到67篇。
NMT,或稱基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯方法,被視為是基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯(SMT)和更早以前的基于規(guī)則的方法的一個(gè)突破。
雖然有許多研究和比較評(píng)估指出 NMT 在實(shí)現(xiàn)更流暢的翻譯結(jié)果方面有優(yōu)勢(shì),但該技術(shù)仍處于研究的初級(jí)階段,許多有趣的研究方向正在繼續(xù)展開。
大多數(shù)NMT研究者來(lái)自美國(guó)
到本文發(fā)布為止,2017年提交到 arXiv 的 NMT 主題下的論文的作者涉及全球范圍的173名研究者,其中大多數(shù)(63名)來(lái)自美國(guó)的大學(xué)或研究機(jī)構(gòu)。
最高產(chǎn)的作者是 Kyunghyun Cho,紐約大學(xué)計(jì)算機(jī)科學(xué)系,庫(kù)朗數(shù)學(xué)研究所的助理教授。去年一年,Cho 的淪為得到14次引用。
Cho 作為共同作者的論文一共三篇,分別是:《Nematus:一個(gè)神經(jīng)翻譯工具包》,《學(xué)習(xí)句法分析和翻譯改進(jìn) NMT》,以及《可訓(xùn)練的NMT的貪婪解碼》,協(xié)作者包括來(lái)自愛丁堡大學(xué),海德堡大學(xué)和歐洲蘇黎世大學(xué)的研究人員, 東京大學(xué)和香港大學(xué), 以及土耳其中東技術(shù)大學(xué)。
除 Cho 之外,還有62位來(lái)自九所美國(guó)大學(xué)的研究人員在 arXiv 公布了他們?cè)?NMT 方面的研究,這九所大學(xué)分別是:加州大學(xué)伯克利分校,CMU,紐約大學(xué),麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室,劍橋大學(xué),斯坦福大學(xué),佐治亞理工學(xué)院,約翰霍普金斯大學(xué),以及哈佛大學(xué)。
來(lái)自歐洲的61位研究者也在這一主題下發(fā)表了大量論文,作者的國(guó)籍包括:英國(guó)(18),德國(guó)(11),愛爾蘭(13)和荷蘭(7)。
來(lái)自亞洲的有58篇NMT主題的論文,主要來(lái)自中國(guó)(包括香港和臺(tái)灣)31篇,日本22篇,韓國(guó)3篇以及新加坡2篇。
來(lái)自美國(guó)科技巨頭的研究團(tuán)隊(duì),例如Facebook Research、谷歌大腦、IBM Watson、英偉達(dá)(NMT 運(yùn)行于其GPU 芯片之上)以及機(jī)翻技術(shù)先驅(qū)SYSTRAN 也一直在向arXiv 貢獻(xiàn)研究成果。
例如,來(lái)自谷歌大腦研究人員的論文提供了有關(guān)構(gòu)建和擴(kuò)展 NMT 架構(gòu)的洞見,并提供了一個(gè)開源的 NMT 框架來(lái)驗(yàn)證結(jié)果。
哈佛和 SYSTRAN 的研究者介紹了一個(gè)開源的 NMT 工具包 OpenMT,它提供了一個(gè)用于訓(xùn)練和部署神經(jīng)機(jī)器翻譯模型的庫(kù)。他們表示,該工具包將進(jìn)一步發(fā)展,“在研究前沿保持強(qiáng)大的 MT 成果”,為產(chǎn)出類應(yīng)用提供了穩(wěn)定的框架。
NMT,數(shù)學(xué)遇見語(yǔ)言
Facebook 于2017年5月9日宣布,正在開源其 NMT 模型,并有一篇關(guān)于論文 發(fā)在 arXiv 上。 該論文以《神經(jīng)機(jī)器翻譯學(xué)習(xí)聯(lián)合多語(yǔ)言句子表征》為題(Learning Joint Multilingual Sentence Representations with Neural Machine Translation),由其 AI 研究團(tuán)隊(duì)的兩名成員與 the Informatics Institute – University of Amsterdam 和 the Middle East Technical University 的其他兩位研究人員合作撰寫。
在亞洲,中國(guó)互聯(lián)網(wǎng)供應(yīng)商騰訊今年有兩篇論文貢獻(xiàn)出來(lái)。 一篇來(lái)自其深圳的 AI Lab(《神經(jīng)機(jī)器翻譯源句法建?!罚∕odeling Source Syntax for Neural Machine Translation)); 另一篇,來(lái)自騰訊移動(dòng)互聯(lián)網(wǎng)部門(《使用線性關(guān)聯(lián)單位的深度神經(jīng)機(jī)器翻譯》(Deep Neural Machine Translation with Linear Associative Unit)),這是和蘇州大學(xué)、中國(guó)科學(xué)院及都柏林大學(xué)的聯(lián)合研究。
北京的微軟亞洲研究院今年也開始進(jìn)行 NMT 方面的研究。本月剛上傳了兩篇論文(《對(duì)抗神經(jīng)機(jī)器翻譯》(Adversarial Neural Machine Translation)和《MAT:圖像字幕多模態(tài)轉(zhuǎn)換器》(MAT: A Multimodal Attentive Translator for Image Captioning))。
微軟自己的研究人員與中國(guó)科技大學(xué)、臺(tái)灣中山大學(xué),廣東省信息安全技術(shù)重點(diǎn)實(shí)驗(yàn)室,清華大學(xué),UESTC 和 Johns Hopkins University 等科研人員展開了研究合作。