绝地求生腰射怎么按:百度推出自然語言模型ERNIE,在某些中文NLP任務中性能優于BERT

绝地求生下载安装苹果 www.rjifq.icu 百度推出自然語言模型ERNIE,在某些中文NLP任務中性能優于BERT

百度在自然語言處理研究方面投入了大量資金。在之前其他工作的基礎上,百度詳細介紹了ERNIE(通過kNowledge IntEgration實現增強型表示),這是一種基于PaddlePaddle深度學習平臺的自然語言模型。

該公司聲稱它在一系列語言處理任務上實現了高精度,包括自然語言推理,語義相似性,命名實體識別,情感分析和問答配對,而且它在中文理解方面是最先進的。在上述所有中文語言理解任務中,ERNIE優于谷歌的BERT。

“近年來,無人監督的預訓練語言模型在各種NLP任務上取得了很大進展,”百度在一篇博文中解釋說,“但該領域的早期工作主要集中在與上下文無關的單詞嵌入。這些模型主要關注原始語言信號,而不是文本中的語義單元。我們認為,如果模型能夠從文本中學習隱含知識,那么它在各種任務上的表現將會進一步提高?!?/p>

為此,基于字符的ERNIE通過攝取包含部分掩蓋詞的段落來學習概念的語義表示。這是一種多功能的方法,與依賴于詞級建模來消除詞性之間關系的系統不同,ERNIE能夠理解連續字符的組成意義,如“紅色,藍色,綠色”。

此外,ERNIE使用對話語言模型來處理問答情景,并用一種對話響應丟失的技術。從本質上講,它需要兩個相鄰對,兩個發言者,兩個發言者,一個接著一個,并在數學上對它們進行編碼,以確定說話者的角色,并在交流中學習隱含的關系。

百度推出自然語言模型ERNIE,在某些中文NLP任務中性能優于BERT

為了驗證ERNIE的設計,研究人員用在線百科全書文章,新聞剪報和論壇帖子,并讓它推斷出樣本段落中省略的知識。

它正確地填寫了一些問題,如“相對論是關于時空和引力的理論,這是由_________建立的”(ERNIE的回答:“愛因斯坦”);“地球表面積為5.1億平方公里,其中71%是________,29%是土地”(ERNIE的回答:“海洋”)。更令人印象深刻的是,在Facebook和紐約大學研究人員(XNLI)設計的基準測試中,它對于中國數據的表現優于谷歌的BERT。

百度表示,它計劃將ERNIE與各種產品整合在一起。一個可能的受益者是DuerOS,一套軟件開發工具包(SDK),API解決方案,使原始設備制造商能夠將百度的語音平臺構建到智能揚聲器,冰箱,洗衣機,機頂盒中。迄今為止,已有200多家公司推出了110款DuerOS產品,百度于11月宣布DuerOS已安裝在超過1.5億臺設備上,每月活躍用戶超過3500萬。

源代碼和預訓練模型可在Github上獲得:
github.com/PaddlePaddle/LARK/tree/

歡迎關注ATYUN官方公眾號,商務合作及內容投稿請聯系郵箱:[email protected]

發表評論