近兩年,神經機器翻譯(NMT: Neural Machine Translation)技術異軍突起,翻譯質量取得大幅提升。但不幸的是,NMT系統(tǒng)的訓練成本非常高,限制了這一技術的大范圍使用。
7月12日,阿里巴巴披露的一份技術資料中顯示,阿里翻譯團隊通過使用阿里云機器學習平臺PAI實現(xiàn)了模型訓練效率5倍的飛躍,并已應用在英俄電商翻譯質量優(yōu)化項目中。
神經機器翻譯是一種用于自動翻譯的端到端的學習方法,該方法能夠克服傳統(tǒng)的基于短語的翻譯系統(tǒng)的缺點,可以將整個輸入句子視作翻譯的基本單元。從2016年以來的學術界頂級會議上,幾乎全是圍繞NMT相關的創(chuàng)新工作,之后谷歌、微軟等巨頭公司相繼發(fā)布NMT系統(tǒng)。
在阿里巴巴內部,阿里翻譯負責為1688國際站、全球速賣通等提供多語言服務,中國賣家填寫的一些中文信息會被機器自動翻譯成多國語言。該團隊同時還為釘釘、東南亞電商Lazada等提供服務。
去年,他們首次將NMT技術應用在通訊場景下。雖然翻譯質量取得很大的提升,但模型訓練耗時太長。3000萬的訓練數(shù)據在單塊GPU卡上一般需要訓練20天以上,才能得到一個初步可用的模型。
之后,他們嘗試在阿里云機器學習平臺PAI上開發(fā)支持分布式訓練的NMT系統(tǒng),并于3月底完成了第一個版本。在英俄電商翻譯質量優(yōu)化項目中,分布式NMT系統(tǒng)大大提高了訓練速度,使模型訓練時間從20天縮短到了4天。
PAI是阿里“NASA”計劃發(fā)布的首個重磅工具,可完全兼容全球主流的深度學習開源框架。同時,底層提供強大的云端異構計算資源,包含CPU、GPU、FPGA。在GPU方面,可靈活實現(xiàn)多卡調度。
在阿里巴巴內部,PAI已經被廣泛使用。淘寶搜索使用PAI的參數(shù)服務器,可以把百億個特征的模型,分散到數(shù)十個乃至于上百個參數(shù)服務器上,打破規(guī)模瓶頸。最終實現(xiàn)搜索結果基于商品和用戶的特征進行排序。
現(xiàn)在,阿里翻譯團隊還在破解線上服務處理延時的難題,為神經網絡機器翻譯模型的大規(guī)模應用掃除最后障礙