• <th id="gpu62"><pre id="gpu62"><dl id="gpu62"></dl></pre></th>
  • <rp id="gpu62"></rp>
    <em id="gpu62"><acronym id="gpu62"><u id="gpu62"></u></acronym></em>

    <rp id="gpu62"></rp>
    1. <button id="gpu62"><object id="gpu62"></object></button>
    2. <dd id="gpu62"></dd>

      當前位置:首頁 ? 網絡雜談 ? 正文

      神經網絡引擎——谷歌神經網絡翻譯系統發布后,我們和Google Brain的工程師聊了聊

      438 人參與  2020年12月26日 15:21  分類 : 網絡雜談  評論

      在最新報道發出后的第二天,「機器之心」受邀來到谷歌中國和來自 Google Brain 的軟件工程師陳智峰聊了聊人機翻譯、GNMT 和谷歌的技術創新等問題。神經網絡引擎-我是錢QQ/微信:6439979

      以下為采訪對話,「機器之心」略有刪改:

      機器之心:神經網絡翻譯系統(NMT)將整個輸入的句子視作翻譯的基本單元,相比于之前基于短語的翻譯系統,除了所需的工程設計更少這個優點外,句子意思理解的精確度有多大的提升?

      陳智峰:我們過去的方法有很多翻譯出來給人看,會發現有很多錯誤。機器會給這些翻譯結果打個分,而我們新的系統作出的翻譯所得的分會很高。我們在翻譯結果的正確率在一些分數上會提高大概 0.5 分到 1 分,這是非常巨大的進步。比如,剛才我的同事討論在微信上最近有些人開始測試「小偷偷偷偷東西」這個句子,相比過去的模型,這個翻譯會非常非常正確。

      機器之心:GNMT 有利用外部對準模型(External Alignment Model)對罕見詞進行處理嗎?神經網絡引擎

      陳智峰:我們這個模型是沒有 External Alignment Model 的,其他一些地方需要使用到外部對準模型來幫助神經網絡模型來達到同樣的效果,我們這個模型是不需要外面幫助的,整個訓練和整個模型就是端對端的模型,它的迅速速度非常簡單,你對照著中文句子,對照著英文句子就可以告訴我們,當中幾乎沒有任何其他的幫助就能夠學習到這樣的。

      機器之心:那在罕見詞的處理上是用了什么方法呢?神經網絡引擎

      陳智峰:我們有兩種方法,你可以把中文一個句子分成一個詞一個詞,比如說「我們今天見面」,你可以把它分成三個詞,我們、今天、見面,你也可以把它分成六個字,傳統的方法還有很多其他的類似系統里面大多數都是把它分成詞來進行建模和訓練的。英文也有同樣的規律,比如說這個英文里是兩個詞,我們現在用的方法是把中文詞全部打成字,然后把英文單詞全部打成像詞根一樣的部分,比如說英文詞語言、圖像它的前綴都是一樣的,所以說我們把這些前綴作為一個單元進行翻譯,而不是像過去那樣三個詞分別翻譯。

      機器之心:我們都知道人在閱讀時有一種能力是可以忽略文字排序錯亂的問題,機器面臨這種情況如何像人類一樣高效處理這些內容?

      陳智峰:不受順序的影響我覺得是一個程度,比如說你隨便打出一個中文的十個字的句子,你任意打亂的話很有可能是錯誤表達的,但如果你隨機調整兩個的話是可以跳過一些錯誤拼寫出來的字。現在的模型也能做到,因為整個模型是統計模型,就是你看到前面幾個字,然后猜下一個字是什么,有些字的可能性大一些,有些可能性低一點,也可能它會說下一個字就應該是一個空格,這樣的話它就會跳過去。神經網絡引擎

      我們做過一些測試。中文里經常會有一些標點符號,比如前面是雙引號,寫了句子以后會發現最后忘了加引號,你可以很清楚地看到這個模型會意識到這個地方你是想寫一個雙引號的,但你沒有寫。這些現在都能在一定程度上避免這些錯誤。

      機器之心:你覺得 GNMT 在技術上的新突破以及未來的發展是否會完全取代人工翻譯?

      陳智峰:我覺得完全替換,或者說在任何情況下替換人的翻譯還是有一定難度的。現在的機器翻譯都是基于已經出現過的語言現象,但是整個人類不停地在發展,比如說網絡上經常出現不同的新的語言現象,比如說有些短語、有些常用語,也是不停地在變化的。所以說機器是很難發明新的規則來表達你現在的意義,最終還是要靠人來創造出新的表達方式。

      就是機器從人那邊學習到怎么表達這個意思更加貼近時代,比如說同樣一個英文詞一百萬,在英國和美國 20 年前是不一樣的。還有對于同樣的單詞,如果是英國長大的人搬到美國,他會自己調整適應度。也就是說英語環境變化了,它的意思發生了微妙的變化,而你要讓一個機器翻譯的系統能夠捕捉到這樣細微的變化還是很難的。神經網絡引擎

      創業zMcGbRtIoQrGvKqSqSjK 41.jpg

      機器之心:在結構化比較高的文章中,比如論文、科技文獻上的處理是不是會更接近一些?可以取代一些?

      陳智峰:對,那些我覺得可能,比如說翻譯一些醫學的文章,就是這個領域非常非常固定的,有些很成文的規則表達的東西,我覺得將來會非常依賴于機器翻譯來處理各個語言之間的信息交流,幫助會很大,而且精確度也會很快提高。神經網絡引擎

      機器之心:從你們一些產品的實驗中,就是從更大的范圍來看,您覺得有哪些領域是現在特別適合機器翻譯來做,或者機器翻譯的水平和人的水平最接近的?哪些領域是目前不太適合機器翻譯來做的?

      陳智峰:比如說在時事新聞方面,因為很多時事新聞寫作都是有套路的,比如說美國總統今天怎么樣,中國國家主席怎么樣,這些模式比較固定的情況機器翻譯就能夠做得比較好,而且讀新聞的人不太注重時事新聞的寫作文筆,更注重的是信息的傳達,所以說在一些修辭方面或者情感的傳達方面要求比較弱。神經網絡引擎

      機器翻譯就能夠很快地幫助你獲得信息,這是主要機器翻譯目前對人類的幫助。目前來講我覺得在人與人之間的自然溝通上,機器翻譯還是有很大的工作需要做,才能達到真正能夠讓你感覺到跟你說話的人是一個真的人,而不是一個機器,這還需要很多年的努力。

      機器之心:在科幻小說《銀河系漫游指南》里,有一個種叫「巴別魚」的生物能實時翻譯任何語言,你覺得 Google 實現這樣的水平還需要多久?(也就是說在更高層次上與自然語言處理上,實現兩種語言對話的實時翻譯,預計這種情景能多久實現?中間有著什么樣的技術難題?)

      陳智峰:很難預測,但我覺得從目前來看如果是要達到信息交互的過程還是很有可能的,但是要達到讓你感覺是跟你家人說話的親切感還是有很大的距離的,尤其是如果你要實時地和另一個人交互。我覺得現在要做到實時翻譯還是有一些距離的,尤其是實時的語言翻譯還是有一些距離的,但是三年五年可能會有一些突破。神經網絡引擎

      機器之心:除了在機器翻譯上,你們現在在其他語言和產品(例如 Allo)上這項技術應用的進展如何?神經網絡引擎

      陳智峰:GNMT 是非常針對機器翻譯這個產品做的,但是它的頂層研究,就是模型本身是非常廣的,可以使用到很多領域里的,每一個產品都在這個基礎模型上做一些開發的。舉例來講大家都有 iPhone,但是每個公司做的每個項目上的 APP 不一樣。

      機器之心:現在 seq2seq+attention 的模型已經在 NMT 及其他眾多 NLP 任務上取得了非常好的效果,本次發布的 paper 中提到用了更多層的網絡得到了更好的效果,請問是否還可以不斷地增加網絡層數來提升效果?

      陳智峰:現在所謂你的層數增加,大家會普遍認為你的模型的能力就相對增強,但是在現有的技術條件下盲目地增加深度的話也有缺點。你的層次增加了,在應用時候的速度會變慢,因為它的計算量會增加,所以在現實當中都是有不同的考慮的。

      機器之心:seq2seq+attention 的模型在效果方面是否達到了上限,從而需要更新的模型來解決問題?如果有的話,Google 最近在研究什么新的模型?神經網絡引擎-我是錢QQ/微信:6439979

      陳智峰:我覺得在機器翻譯這個問題上,就是在基本的模型上還有很多擴展的余地,就是說你可以把這個模型變得更大,程序增加,它的模型架構是基本上一樣的,但是在這方面你可以進一步推展。當然,這個領域變化很快,每年都會有不同的細分結構、模型結構出來,我們會不停地取長補短,就是有沒有可能更快地提供更好的翻譯服務。

      機器之心:我有注意到現在移動版和網頁版的 Google Translate 的漢英翻譯已經在 100% 使用 GNMT 機器翻譯了,為什么會率先在漢英 翻譯上去應用呢?現在是有什么技術難點或者考慮嗎?神經網絡引擎

      陳智峰:有兩個基本考慮,第一個考慮是在所有的 Google Translate 領域中,中文翻英文和英文翻中文的確是很大的一部分。用戶很多,這也是在很多翻譯任務當中相對較難的一部分,因為這是兩個非常不同的語言,所以從傳統上來講這是一個比較難的。另外一點,在整個項目開發過程中有很多中國同事參與,有很多能懂中文也能懂英文的人在第一個系統的時候可以幫助調試,這會有很大幫助,所以這是主要的考慮。

      機器之心:不同語言的語料規模差別很大,英文中的語料非常多,但中文語料就顯得非常少。請問,能夠將 NMT 的研究成果應用在不同語言語料構建上,從而提升其他語言 NLP 研究水平?

      陳智峰:其實中文語料也是很多的,在我們的數據庫里中文語料是英文語料的一半,但是這兩個語言的語料庫中我們掌握的語料是非常非常巨大的,世界上有很多其他語言沒有足夠的數據,所以這也是一個研究難點,就是怎么通過其他的語言來幫助翻譯一些小語種,也是我們正在努力的方向。因為 Google 不光是要服務英文、中文,它的目的是讓世界上所有的國家、所有的人都能夠獲得同樣的服務,所以說我們非常致力于全世界有 100 多種語言,我們希望這 100 多種語言我們都能夠做到很快翻譯。

      機器之心:剛才提到 Google Brain 和 Translate 這次的合作,我想知道在 GNMT 這次的技術研發包括產品的應用上,兩個團隊之間的分工是怎么樣的?神經網絡引擎

      創業cTjSuIzAvKlMoHxOgIyZ 138.jpg

      陳智峰:我們主要是在初期建模的工作上做的工作比較多,在怎么使用最新的那些 GPU上,我們早期工作做的比較多。在 Google Translate 里面,他們負責很多怎么獲得數據的工作,有些數據的有關情況需不需要調試,還有最后怎么把這個模型應用到產品里去,他們也做了巨大的工作,這是主要的工作。神經網絡引擎

      其實 Google 很多技術開發都是這個模式的,不同的團隊之間都會有很強的合作,因為 Google Brain 更多的是一個注重于神經網絡、人工智能方面研發的團隊,而 Google Translate 主要負責的是翻譯這個產品,當然他們也有研究團隊。所以各個團隊不同,他們花了很多的時間,那么多年,就是需要采集數據,比如說我們訓練的時候可以完全用他們已有的訓練數據,每個團隊的目標不一樣,但是合作非常流暢,沒有任何問題。

      機器之心:你們的新論文描述了讓 NMT 在非常大型的數據集上工作的許多挑戰,你覺得當前最大的技術難點在哪里?在翻譯速度和準確度的提高上你們又做了哪些創新?神經網絡引擎

      陳智峰:這個項目在三年前,也就是 2013、2014 年的時候 Google Brain 就想做了,當時從硬件和軟件上都無法支持訓練這個模型,在過去兩三年中 Google Brain 開發了 TensorFlow,使得訓練類似的模型可以充分利用分布式計算,利用很多很多不同的硬件類型。另外,如果你這兩三年沒有一些專門的硬件加速器的話也是很難在短時間內完成這個訓練。而過去兩三年 Google 在機器學習、在人工智能方面的巨大投入,使得類似的操作才變得可行。當然,我們也做了很多,對于具體的訓練在我們現有的硬件資源上做了很多優化,這也是一方面的努力。

      機器之心:您說這個短時間是短到什么程度?是多久訓練一次?

      陳智峰:一般來說我們訓練一個語言現在需要五天到六天的時間,差不多需要將近一百個 GPU 的加速器才能做完,差不多一星期才能處理一個方向的語言模型。但是 Google 有大概一萬個語言的模型需要訓練,當然我們有巨大的資源投入,也在不停地改進算法,所以說都在努力。神經網絡引擎

      機器之心:這次我們這個系統昨天晚上的新聞發出來以后,很多人拿一些有趣的句子去測試,我想了解一下你們內部也有很多中國人,有這種有趣的句子測試它嗎?

      陳智峰:上市之前我們每個同事都絞盡腦汁想出一些辦法考考我們這個系統,大家都覺得不太容易考倒它,所以最后決定我們可以拿出來給用戶用一下。當然,肯定不是一百分,但是我們還是相對滿意的。

      因為 Google 以前有那么多年積累下來的難題,用戶在使用Google翻譯時,可能當時覺得翻譯得不好,他們就會有記錄,然后發給我們。我們會把那些東西放進新的系統看看這次做得好不好,比如說把中國的一些歌詞拿出來放進去看看翻譯出來的結果會不會比原來好,其實那種測試主要是防止它說出一些不太好的話。我們都做了很多測試,所以我們覺得還是有信心的。神經網絡引擎-我是錢QQ/微信:6439979

      推薦閱讀:

      微商怎么做,怎么引流?你需要了解精準引流背后的思維與方法!

      如何利用QQ群,一個月裂變引流成千人大群

      打好自己生活和事業的基礎

      來源:我是錢博客(微信/QQ:7399058),歡迎分享!

      本文鏈接:http://www.juj858.com/post/54518.html

      百度分享獲取地址:https://share.baidu.com/code
      神經網絡引擎  

      我是錢微信/QQ:7399058

      廣告位、廣告合作QQ:7399058

      << 上一篇 下一篇 >>

      • 評論(0)
      • 贊助本站

           

      ◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

      搜索

      網站分類

      最近發表

      牛牛超级碰免费热视频|久久机热视频免精品15十大禁片|成人av伦理电|免费在线观看
    3. <th id="gpu62"><pre id="gpu62"><dl id="gpu62"></dl></pre></th>
    4. <rp id="gpu62"></rp>
      <em id="gpu62"><acronym id="gpu62"><u id="gpu62"></u></acronym></em>

      <rp id="gpu62"></rp>
      1. <button id="gpu62"><object id="gpu62"></object></button>
      2. <dd id="gpu62"></dd>