恒聯科(kē)技(jì)廣州市科傳計算機科技股份有限公司

背景概述

随著(zhe)人(rén)工(gōng)智能(néng)與邊緣計(jì)算(suàn)的(de)發展，各種數(shù)據科(kē)學的(de)應用(yòng)落地(dì)®，在在線教育行(xíng)業(yè)中部署相(xiàng)關的(de)服務去(qù)支持業(yè)務開(kāi)展已↕成為(wèi)大(dà)勢所趨——深度學習(xí)下(xià)的(de)圖像識别、NLP等技(jì)術(shù)給行(xíng)業(yè)帶來(≈lái)新發展空(kōng)間(jiān)。

數(shù)據規模在不(bù)斷增長(cháng)，使用(yòng)公有(yǒu)雲部署業(yè)務是(shì)一(yī)種便捷的(de)模式。但(dàn)越來(lái")越多(duō)企業(yè)用(yòng)戶發現(xiàn)，大(dà)規模使用(yòng)公有(yǒu)雲基礎∞及其深度學習(xí)API服務，已成為(wèi)每年(nián)開(kāi)支中的(de)大(dà)頭。混合雲部署的(de)模式業(yè)務的(de)模式可(kě)能(néng)成為€(wèi)更合理(lǐ)的(de)選擇，把部分(fēn)重要(yào)業(yè)務部署在企業(yè)私有(yǒu)雲中，不(bù)僅可(kě)獲得(de)對(duì)業(yè)務與數(sh↔ù)據安全的(de)全面控制(zhì)，據第三方測評，對(duì)中小(xiǎo)型規模集群、私有(y‌ǒu)部署甚至可(kě)能(néng)降低(dī)高(gāo)達70%的(de)運維服務費(fèi)用(yòng)。把部分(fēn)業(yè)務私有☆(yǒu)部署，已成為(wèi)在線教育行(xíng)業(yè)中穩健的(de)選擇。

在混合雲部署中，雲原生(shēng)計(jì)算(suàn)成為(wèi)先行(xíng)崛起的(de)理(lǐ)念。雲原生(shēng)計(jì)算(suàn)依靠資源雲化(huà)（虛拟化$(huà)），應用(yòng)雲化(huà)（标準化(huà)、自(zì)動化(huà)、可(kě)拓展、高(gāo)可(kě)用(yòng)）"，雲原生(shēng)（互聯網規模、敏捷，彈性）的(de)優勢，逐漸成為(wèi)人(rén)工(gōng)智能(nén‍g)深度學習(xí)、數(shù)據科(kē)學等應用(yòng)及服務的(de)載體(tǐ)。

容器(qì)是(shì)雲原生(shēng)計(jì)算(suàn)的(de)基石，CNCF對(duì)雲原生(shēng)的(de)定位為(wèi)：容器(qì)化(hu à)、微(wēi)服務、容器(qì)可(kě)以動态調度。容器(qì)化(huà)、持續交付、DevOps、微(wēi)服務組成了(le)雲原生(↕shēng)計(jì)算(suàn)的(de)理(lǐ)念。一(yī)套适合的(de)雲原生(shēng)計(jì)算(suàn)平台，可×(kě)以支持多(duō)租戶兼顧應用(yòng)服務、科(kē)研、教學等場(chǎng)地(dì)，利用(yòng)自(zì)動化(huàπ)運維工(gōng)具減少(shǎo)運維人(rén)員(yuán)工(gōng)作(zuò)負擔，為(wèi)最終用(yòng)戶提供各層次的(★de)應用(yòng)。

DGX系統

DGX-1具有(yǒu)通(tōng)過NVLink（NVIDIA的(de)一(yī)種高(gāo)性能(néng)GPU互聯技(jì)術φ(shù)）在混合數(shù)據立方體(tǐ)網格網絡中連接8台Tesla V100 GPU加速器(qì)的(de)能(néng)力，搭配雙插槽Inte✔l Xeon CPU和(hé)4個(gè)100 Gb InfiniBand網絡接口卡，DGX-1為(w èi)深度學習(xí)訓練帶來(lái)了(le)前所未有(yǒu)的(de)非凡性能(néng)。此外(wài)，DGX-1∞系統軟件(jiàn)和(hé)功能(néng)強大(dà)管理(lǐ)庫可(kě)以适時(shí)調整，以用(yòng)于擴展Tesla ↔V100 GPU網絡中的(de)深度學習(xí)，為(wèi)有(yǒu)關生(shēng)産和(hé)研究的≠(de)深度學習(xí)應用(yòng)提供靈活且可(kě)擴展的(de)平台。

NVIDIA DGX 系統支持內(nèi)容包括：

NVIDIA 雲管理(lǐ)：容器(qì)庫、容器(qì)管理(lǐ)、作(zuò)業(yè)調度、系統性能(néng)監控，以及新軟件(jiàn)←更新；

獲得(de)超級新的(de)軟件(jiàn)更新程序和(hé)升級程序；

與 NVIDIA 技(jì)術(shù)專家(jiā)直接溝通(tōng)；

包含指導文(wén)章(zhāng)、應用(yòng)程序說(shuō)明(míng)和(hé)産品文(wén)$件(jiàn)的(de)可(kě)搜索知(zhī)識庫；

通(tōng)過支持門(mén)戶和(hé)全天候電(diàn)話(huà)訪問(wèn)權限實現(xiàn)快(kuài)速™響應并實時(shí)解決問(wèn)題；

NVIDIA DGX 系統深度學習(xí)軟件(jiàn)的(de)生(shēng)命周期支持；

硬件(jiàn)支持、固件(jiàn)升級、診斷，以及遠(yuǎn)程和(hé)現(xiàn)場(chǎng)解決硬件(jiàn)問(wèn)題；

次日(rì)配送替換零件(jiàn)。

T4服務器(qì)

用(yòng)戶已經建立、訓練、調整和(hé)調整了(le)模型後需要(yào)一(yī)個(gè)推理(lǐ)解決方案，可(kě)以部署到(dào)數(sh↑ù)據中心或雲。方案中應該優化(huà)使用(yòng)可(kě)用(yòng)的(de)GPU，以獲得(de)最大(•dà)可(kě)能(néng)的(de)性能(néng)。可(kě)能(néng)還(hái)存在其他(tā)需求，例如(rú)需要(yào)A/B測試功能(néng)或支持具有(yǒu)₽多(duō)個(gè)同構或異構GPU的(de)服務器(qì)的(de)能(néng)力。
T4服務器(qì)搭載8張NVIDIA Tesla T4。Tesla T4可(kě)以加速語音(yīn)、視(shì)頻(pín)、搜索引擎、圖像神經網絡的(de) Tesla ≤T4 。Tesla T4 擁有(yǒu) 320 個(gè)圖靈張量（TURring Tensor）內(nèi)核 + 2560 個(gè) CUDA 內(nèi)核。
GPU 支持混合精度，例如(rú) FP32、FP16、已 INT8 。此外(wài) Tesla T4 還(hái)支持 INT4 和(hé)實驗性的(de) INT1 精度模式，較其前身(shēn)有(yǒu)顯著的(de)進步∏。
Tesla T4 的(de)功耗相(xiàng)當低(dī)調，服務器(qì) PCIe 插槽的(de)标準供電(diàn)（75W）已經♠足夠，無需外(wài)接 6-pin 。散熱(rè)方面，它也(yě)無需加裝主動式的(de)風(fēng)扇（服務器(qì)典型的(de)內(n$èi)風(fēng)道(dào)設計(jì)已經足夠）。
Tesla T4 為(wèi)人(rén)工(gōng)智能(néng)視(shì)頻(pín)應用(yòng)提供極具突破性的(de)性能∑(néng)，其專用(yòng)的(de)硬件(jiàn)轉碼引擎将解碼性能(néng)提升至上(shàng)一(yī)代 GPU 的(de)兩倍。T4 可(kě)以解碼多(duō)達 38© 個(gè)全高(gāo)清視(shì)頻(pín)流，從(cóng)而可(kě)以輕松地(dì)将可(kě)擴展的(de)深度學習(xí)集成到(dào)視(shì)頻(pín)管線中，以提供創新±的(de)智能(néng)視(shì)頻(pín)服務。
TensorRT推理(lǐ)服務是(shì)Nvidia TensorRT推理(lǐ)平台的(de)一(yī)部分(fēn)，它提供了(le)一(yī)種新的(de)軟件(jiàn)解決方案→，擴展了(le)模型和(hé)框架的(de)實用(yòng)性，非常有(yǒu)效結合使用(yòng)TensorRT及深度學習(xí)框架和(hé)訓練好(≠hǎo)的(de)模型，充分(fēn)提高(gāo)了(le)GPU和(hé)CPU的(de)利用(yòng)率。它基于Nvidia Docker，可₽(kě)以從(cóng)Nvidia GPU Cloud上(shàng)獲得(de)。
NVIDIA NGX軟件(jiàn)開(kāi)發套件(jiàn)中包含的(de)AI增強功能(nénπg)提供了(le)支持，如(rú)去(qù)噪、分(fēn)辨率縮放(fàng)和(hé)視(shì)頻(pín)調速。

圖1

圖2

NVIDIA Tesla T4

緻力于視(shì)覺計(jì)算(suàn)與人(rén)工(gōng)智能(néng)

緻力于視(shì)覺計(jì)算(suàn)與人(rén)工(gōng)智能(néng)