對話式AI突破發展 NVIDIA創下三項自然語言理解紀錄

人工智慧正逐漸滲透到日常生活,其中對話式AI由於使用方便、回應快、易於個人化,已廣為消費者接受。不過對話式AI想進一步應用到更複雜的領域如醫療、金融、通訊等,就需要更大的模型及更快的訓練速度。近日NVIDIA在對話式AI有了突破性發展,並將成果開放原始碼分享,加速了社群研發腳步,也帶來新型態服務的可能性。


對話式AI是被廣泛應用的人工智慧類型之一,圖為對話式AI與人溝通時的螢幕顯示狀況。

NVIDIA於8月13日宣布創下三項自然語言理解效能紀錄:

  • 最快訓練:採用內建1,472個GPU的NVIDIA V100 GPUNVIDIA DGX SuperPOD,成功把先進AI語言模型BERT-Large的訓練時間從數日縮短至53分鐘。此外,僅透過一台NVIDIA DGX-2系統在2.8天內就完成BERT-Large訓練。
  • 最快推論:以NVIDIA T4 GPU運行NVIDIA TensorRT,在BERT-Base SQuAD資料集上僅用2.2毫秒就完成推論。遠低於許多即時應用要求的10 毫秒門檻,也大幅領先以CPU執行的40毫秒。
  • 最大模型:NVIDIA在Transformers Model的基礎上建構與訓練出全球最大的語言模型,擁有83億個參數,足足比BERT-Large多出24倍,也因此NVIDIA把這個計畫稱為Project Megatron。


NVIDIA V100 GPUNVIDIA DGX SuperPOD超級電腦。

對話式AI已發展多年,如聊天機器人、語音助理、智慧音箱、語音搜尋等。但想要達到人類理解力的水準仍極為困難,主要原因是無法即時部署超大規模的AI模型。這次發表的幾項突破,就是在AI訓練與推論方面刷新速度紀錄,同時也建構出至今最大的語言模型。

以自然語言理解技術運行的AI服務,預計在未來幾年呈現指數成長。根據Juniper Research的報告,光是數位語音助理市場規模預計在未來5年內將從25 億美元成長到80億美元。Gartner也預測2021年,15%的客服互動將完全由AI執行,與2017年相比增加400%。


NVIDIA T4 GPU。

NVIDIA即日起也將對話式AI研發成果全面釋出給開發者,包括:

  • NVIDIA GitHub BERT模型的訓練程式碼與PyTorch學習框架。
  • NGC模型Scripts與TensorFlow的check-points。
  • GitHub上針對TensorRT優化的BERT範例。
  • Faster Transformer: C++語言API、TensorRT外掛與TensorFlow OP。
  • MXNet Gluon-NLP包含AMP對BERT的支援方案(訓練與推論)。
  • AI Hub上針對TensorRT優化的BERT Jupyter軟體說明註記。
  • Megatron-LM:用來訓練超大型Transformer模型的PyTorch程式碼。
2019-08-14 16:21 發佈
Matt Kan worte:
人工智慧正逐漸滲透到...(恕刪)


這個照片
就顯示了機械人的控制難度
請走到我手指頭指的地方...

因為不僅是文法的問題
還要看的懂身體的構造
整個手臂的指向
然後計算該方向延伸出去
這個方向與地面的交點
才是機械人該要去的地方...
蚵仔麵線好吃 worte:
這個照片就顯示了機械...(恕刪)

所以這是個科技的一大突破
不只要看得懂動作(這個目前科技免強可以辦到)
還要判斷手指的位置距離
st921418 worte:
所以這是個科技的一大...(恕刪)


ASIMO當年研發時,就碰到這個問題...
Go to where I point to...
ASIMO愣在那裏....
不過是多年前的事了...

看得動手勢在自駕車Level 5是一定要懂得
因為完全無人駕駛在路上
如果有交警指揮交通
要看的懂手勢
這Waymo (Google自駕車團隊)早已能用光達辨認的出了~
AI跟自駕車有很大的關係
光達掃出的point cloud
要利用大數據建立資料庫辨認出人車,手勢....
Matt Kan worte:
NVIDIA即日起也將對話式AI研發成果全面釋出給開發者,包括:

NVIDIA GitHub BERT模型的訓練程式碼與PyTorch學習框架。NGC模型Scripts與TensorFlow的check-points。GitHub上針對TensorRT優化的BERT範例。Faster Transformer: C++語言API、TensorRT外掛與TensorFlow OP。MXNet Gluon-NLP包含AMP對BERT的支援方案(訓練與推論)。AI Hub上針對TensorRT優化的BERT Jupyter軟體說明註記。Megatron-LM:用來訓練超大型Transformer模型的PyTorch程式碼。


這會需要多大資料量來準確判斷啊~
很好,距離即時中英文語音翻譯的里程碑又前進了100公尺
但是距離"1000個英文單字組成的文章流暢,通順翻譯成中文"還有100公里以上
距離"可以流暢翻譯整份英文報紙"還有大概環繞地球一圈那麼遠
距離終點"即時/流暢的語音翻譯各種語言且人類可以理解"這個目標,大概還有一光年...
推測公元2050年之前都看不到
重複發言...
限制級
您即將進入之討論頁 需滿18歲 方可瀏覽。
根據「電腦網路內容分級處理辦法」修正條文第六條第三款規定,已於該限制級網頁,依台灣網站分級推廣基金會規定作標示。
評分
複製連結