僅2毫秒！英偉達(dá)打破實時對話AI的訓(xùn)練和推理用時記錄
據(jù)國外媒體報道，英偉達(dá)用于開發(fā)和運行可理解和響應(yīng)請求的對話式AI的GPU強(qiáng)化平臺，已經(jīng)達(dá)成了一些重要的里程碑，并打破了一些記錄。
這對任何基于其技術(shù)進(jìn)行開發(fā)的人來說意義重大——當(dāng)中包括大大小小的公司，因為英偉達(dá)將很多用于實現(xiàn)這些進(jìn)步的代碼開源。那些代碼用PyTorch編寫，易于運行。
英偉達(dá)今天宣布的最大成果包括：BERT訓(xùn)練用時打破記錄，進(jìn)入1小時關(guān)口。BERT是世界上最先進(jìn)的人工智能語言模型之一，也被廣泛認(rèn)為是自然語言處理（NLP）標(biāo)桿的先進(jìn)模型。英偉達(dá)的AI平臺僅僅需要53分鐘就能夠完成模型訓(xùn)練，經(jīng)過訓(xùn)練的模型在短短2毫秒多一點的時間里(10毫秒在業(yè)內(nèi)被認(rèn)為是高水平線)就能夠成功地做出推理(即利用通過訓(xùn)練學(xué)習(xí)到的能力得出結(jié)果)——又一個記錄。
英偉達(dá)的這些突破不僅僅是吹噓的資本——這些進(jìn)步可為任何使用NLP對話式人工智能和GPU硬件的人提供切實的好處。英偉達(dá)在它的其中一個SuperPOD系統(tǒng)上打破了訓(xùn)練時間記錄，該SuperPOD系統(tǒng)由運行1472個V100 GPU的92個英偉達(dá) DGX-2H系統(tǒng)組成；在運行英偉達(dá) TensorRT的英偉達(dá) T4 GPU上完成推理過程。英偉達(dá) TensorRT在性能上超出高度優(yōu)化的CPU許多個量級。不過，該公司將公開BERT訓(xùn)練代碼和經(jīng)過TensorRT優(yōu)化的BERT樣本，讓所有人都可以通過GitHub利用。
除了這些里程碑以外，英偉達(dá)的研究部門還建立并訓(xùn)練了有史以來最大的一個基于“Transformer”的語言模型。這也是BERT的技術(shù)基礎(chǔ)。該定制模型包含的參數(shù)多達(dá)83億個，規(guī)模是當(dāng)前最大的核心BERT模型BERT-Large的24倍。英偉達(dá)將這個模型命名為“Megatron”，它也對外提供了用于訓(xùn)練這個模型的PyTorch代碼，因而其他人能夠自行訓(xùn)練出類似的基于“Transformer”的大型語言模型。
- 相關(guān)閱讀:
-
明日之后鯰魚料理制作攻略 明日之后鯰魚料理需要哪些材料2019-08-08釣魚記得帶頭盔是什么梗 為什么釣魚戴頭盔原因出處2019-08-09
- 新聞 娛樂 福建 泉州 漳州 廈門
-
- 司法部原黨組成員、副部長劉志強(qiáng)受賄案一審宣判
2025-07-22 17:25 - 2025年6月吉林省查處違反中央八項規(guī)定精神問題468起
2025-07-22 16:38 - 優(yōu)化醫(yī)養(yǎng)結(jié)合服務(wù)供給 國家衛(wèi)健委印發(fā)工作方案
2025-07-22 16:18 - 第七批新職業(yè)正式發(fā)布 包括17個新職業(yè)、42個新工種
2025-07-22 16:17 - 十四屆全國政協(xié)原常委、農(nóng)業(yè)和農(nóng)村委員會原副主任齊扎
2025-07-22 10:43 - 20多個國家聯(lián)署聲明要求立即結(jié)束加沙戰(zhàn)爭
2025-07-22 10:43 - 英國呼吁推進(jìn)對烏克蘭軍援以施壓俄羅斯
2025-07-22 10:40
- 司法部原黨組成員、副部長劉志強(qiáng)受賄案一審宣判
- 猜你喜歡:
-
vivo X Fold 5即將開售：6999元 史上最輕大折疊2025-07-01小雞寶寶考考你：人體最長的骨頭是？螞蟻莊園答案最新今天5.202025-05-19榮耀平板GT2 Pro曝光 搭載第三代驍龍8處理器2025-07-16
-
評論(僅2毫秒！英偉達(dá)打破實時對話AI的訓(xùn)練和推理用時記錄)