軟件定義、硬件加速的可編程InfiniBand NDR網(wǎng)絡(luò )賦能E級AI和HPC平臺

　　在2020年全球數字超算大會(huì )(SC20大會(huì ))上，NVIDIA宣布推出NVIDIA® Mellanox® 400G InfiniBand產(chǎn)品，這是全球第一代400Gb/s網(wǎng)速的端到端網(wǎng)絡(luò )解決方案，可為全球的AI和HPC用戶(hù)提供最快的網(wǎng)絡(luò )互連性能，同時(shí)將計算、可編程性和軟件定義三種技術(shù)成功地融于一體，成為業(yè)界領(lǐng)先的軟件定義、硬件加速的可編程網(wǎng)絡(luò )，為全球的科研人員和工程人員設計新一代計算系統和提升應用性能提供了新的思路。

　　NVIDIA Mellanox InfiniBand NDR產(chǎn)品是第7代的InfiniBand產(chǎn)品，利用100Gb/s的PAM4 Serdes技術(shù), 實(shí)現了400Gb/s的單端口傳輸帶寬, 是上一代產(chǎn)品的兩倍, 同時(shí)通過(guò)添加更多、更強大的加速引擎，實(shí)現了更強大的計算和通信能力。

　　NVIDIA Mellanox NDR 400G InfiniBand產(chǎn)品系列

　　“Speed Of Light”是關(guān)于NDR InfiniBand技術(shù)的第一個(gè)特征，通過(guò)加倍的帶寬、更快的包處理能力(Message Rate)， 讓基于RDMA、GPU Direct RDMA和GPU Direct Storage等先進(jìn)通信技術(shù)的應用性能得到了進(jìn)一步提升。InfiniBand網(wǎng)絡(luò )是天然的SDN網(wǎng)絡(luò )，可以讓用戶(hù)根據應用的屬性來(lái)選擇各種不同的網(wǎng)絡(luò )拓撲，以達到最優(yōu)的性能，如Fat-Tree、DragonFly+、各種Torus等。如通過(guò)DragonFly+網(wǎng)絡(luò )拓撲可以在4個(gè)交換機Hop內達到一百萬(wàn)個(gè)節點(diǎn)的同時(shí)通信，這個(gè)規模遠遠超出了E級機、甚至10E級機或百E級機需要的規模;同時(shí)其天然的SDN屬性也讓動(dòng)態(tài)路由和網(wǎng)絡(luò )擁塞控制變得更容易實(shí)現。InfiniBand動(dòng)態(tài)路由已經(jīng)被廣泛地應用到各種網(wǎng)絡(luò )拓撲當中，成為優(yōu)化通信性能的關(guān)鍵手段，如美國橡樹(shù)林國家實(shí)驗室的Summit超級計算機就通過(guò)動(dòng)態(tài)路由將超算中心全網(wǎng)的通信效率從60%提升到了96%。NDR InfiniBand交換機在1U空間內可以支持64個(gè)400Gb/s的端口或128個(gè)200Gb/s的端口，是上一代交換機端口密度的3倍;它還將框式交換機系統的聚合雙向吞吐量提高了5倍，達到1.64 petabits/s，是全球端口數最多、交換容量最大的交換機。

　　硬件加速是InfiniBand網(wǎng)絡(luò )的最大特色，隨著(zhù)越來(lái)越多的加速引擎被添加到InfiniBand硬件中來(lái)，進(jìn)一步加大了其相對于其它網(wǎng)絡(luò )技術(shù)的領(lǐng)先性。如NDR InfiniBand實(shí)現了對于業(yè)界最頭疼的All2All和Allreduce通信的硬件卸載，能讓MPI通信的性能提升四倍。NDR InfiniBand對于MPI Tag Matching的硬件卸載，實(shí)現了1. 8倍的MPI通信性能提升。NDR InfiniBand可以實(shí)現對于NVMeoF的全面卸載， NVMeoF的Target卸載可以讓存儲系統在幾乎不消耗Target端CPU的前提下達到數以百萬(wàn)級的IOPS，NVME SNAP可以實(shí)現對于NVMeoF的Initiator端的卸載，同時(shí)可以將InfiniBand網(wǎng)絡(luò )模擬成NVMe磁盤(pán)提供給主機CPU，可以解決目前很多OS還沒(méi)有NVMeoF的Initiator支持的問(wèn)題，實(shí)現了對任何OS， 無(wú)論是虛擬化還是物理機的全面NVMeoF的支持;InfiniBand FIO SNAP可以實(shí)現對于文件存儲的本地模擬，讓任何OS都可以享受最先進(jìn)的分布式文件存儲系統的性能優(yōu)勢。

　　InfiniBand SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 技術(shù)徹底消除了MPI或者NCCL的Allreduce操作中的多打一通信帶來(lái)的Incast Burst問(wèn)題，在保證所有端口全線(xiàn)速、共計12.8Tb/s或25.6Tb/s的數據輸入的前提下，實(shí)現在交換機上的Allreduce、Barrier、Reduce和Broadcast計算，在NDR交換機上更是實(shí)現了相比上一代交換機32倍的計算性能提升。InfiniBand SHIELD (Self-Healing) 技術(shù)實(shí)現了網(wǎng)絡(luò )中鏈路故障的自修復，讓網(wǎng)絡(luò )無(wú)需等待管理軟件的參與來(lái)恢復鏈路故障，實(shí)現了比傳統的軟件故障恢復快千倍以上的性能，讓?xiě)貌辉偈芾ф溌饭收系母蓴_，提升應用的性能。

　　InfiniBand安全卸載是面向Cloud Native的應用場(chǎng)景，InfiniBand已經(jīng)得到了Open Stack的官方軟件支持，通過(guò)自帶的硬件IPSec、TLS、AES、Root of Trust等功能，可以讓數據不論是在網(wǎng)絡(luò )中流動(dòng)時(shí)，還是在向存儲中落盤(pán)時(shí)都能以線(xiàn)速性能得到加解密，實(shí)現了在虛擬化環(huán)境或者在容器化環(huán)境中的安全保障。

　　軟件可編程讓InfiniBand的應用場(chǎng)景得到了進(jìn)一步的延伸，可編程的NDR InfiniBand不僅可以讓用戶(hù)處理數據的header，還可以對于數據的數據路徑進(jìn)行操作，如用戶(hù)可以自定義規則對于數據路徑進(jìn)行操作;或是對于數據直接在網(wǎng)絡(luò )中進(jìn)行預處理而無(wú)需送到CPU做預處理。用戶(hù)還可以對于數據的通信特征進(jìn)行提取、然后利用AI技術(shù)對其進(jìn)行訓練，得到不同應用數據的通用通信特征，如果發(fā)現有異常通信信息，可以向管理員主動(dòng)發(fā)出預警。

　　NVIDIA Mellanox NDR 400G InfiniBand亮點(diǎn)

　　NDR InfiniBand以其優(yōu)異的性能和靈活廣泛的使用場(chǎng)景吸引了眾多的合作伙伴一起共建生態(tài)系統，包括Atos、戴爾科技、富士通、浪潮、聯(lián)想和SuperMicro等服務(wù)器廠(chǎng)商，以及DDN、IBM Storage等存儲廠(chǎng)商。各家公司都已開(kāi)始研發(fā)其新一代產(chǎn)品，實(shí)現對于NDR InfiniBand的支持。而包括微軟Azure公有云、美國Los Alamos國家實(shí)驗室、歐洲Jülich超算中心等全球各頂級用戶(hù)都紛紛表示，期待能盡快應用NDR InfiniBand到他們的業(yè)務(wù)中去，享受NDR的技術(shù)優(yōu)勢。

　　NVIDIA網(wǎng)絡(luò )高級副總裁Gilad Shainer表示： “我們AI客戶(hù)最重要的工作就是處理日益復雜的應用程序，這需要更快速、更智能、更具擴展性的網(wǎng)絡(luò )。NVIDIA Mellanox 400G InfiniBand的海量吞吐量和智能加速引擎，幫助HPC、AI和超大規模云基礎設施以更低的成本和復雜性，實(shí)現無(wú)與倫比的性能。”

　　E級AI和HPC時(shí)代已經(jīng)來(lái)臨，同時(shí)帶來(lái)新的挑戰，軟件定義、硬件加速、面向網(wǎng)絡(luò )計算的可編程NDR InfiniBand產(chǎn)品將于2021年第二季度提供樣品。NDR產(chǎn)品的出現，將會(huì )大幅提升E級AI和HPC系統的性能和效率，簡(jiǎn)化系統的管理和操作，降低系統的TCO，進(jìn)而保護數據中心的投資。

　　關(guān)于NVIDIA

　　NVIDIA(納斯達克股票代碼：NVDA)在1999年發(fā)明的GPU激發(fā)了PC游戲市場(chǎng)的增長(cháng)，重新定義了現代計算機顯卡，并且對并行計算進(jìn)行了革新。最近，通過(guò)將GPU作為可以感知和理解世界的計算機、機器人乃至自動(dòng)駕駛汽車(chē)的大腦，GPU深度學(xué)習再度點(diǎn)燃了全新的計算時(shí)代——現代人工智能。更多信息，請訪(fǎng)問(wèn)http://nvidianews.nvidia.com/ 。

　　媒體咨詢(xún)，請聯(lián)絡(luò )：

　　何祝君

　　NVIDIA公司中國區網(wǎng)絡(luò )市場(chǎng)經(jīng)理

　　Email：adah@nvidia.com

　　張圓妮

　　北京科聞領(lǐng)睿咨詢(xún)服務(wù)有限公司

　　Email：bonnie.zhang@archetype.cn