PAI靈駿是一種大規(guī)模高密度計算服務，全稱“PAI靈駿智算服務”，提供高性能AI訓練、高性能計算所需的異構計算算力服務。PAI靈駿主要面向圖形圖像識別、自然語言處理、搜索廣告推薦、通用大模型等大規(guī)模分布式的AI研發(fā)場景，適用于自動駕駛、金融風控、藥物研發(fā)、科學智能、元宇宙、互聯(lián)網和ISV等行業(yè)。您只需為AI訓練所消耗的資源付費，無需建設、調優(yōu)和運維復雜的計算節(jié)點、存儲及RDMA網絡，即可使用高擴展性、高性能、高性價比的智能計算基礎設施環(huán)境。
產品架構
PAI靈駿是軟硬件一體化設計的算力集群服務，硬件涵蓋了服務器、網絡、存儲以及集群的整體交付管理等，軟件包括算力資源管控運維、AI加速套件、云原生任務管理，以及完善的AI開發(fā)作業(yè)平臺，支持Pytorch、TensorFlow等常見AI框架。
PAI靈駿的底層硬件核心組件由磐久服務器和高性能RDMA網絡兩部分組成：
服務器采用阿里云自研的磐久服務器，在核心配置上進行多項優(yōu)化，充分保證硬件的性能釋放。
網絡支持常見的Fat-Tree網絡拓撲，支持TCP/IP和RDMA等多種通信協(xié)議。其中，PAI靈駿25G網絡和100G網絡獨立組網；25G網絡用于服務器帶內管理，100G網絡的多個網卡用于AI訓練業(yè)務的高效通信。為提升PAI靈駿網絡可用性，PAI靈駿支持雙上聯(lián)組網，每個網卡的兩個端口分別接到兩個交換機上，在連接出現(xiàn)故障時可自動切換，保證網絡可用性。
軟件架構自底向上包括資源管理、計算加速庫、機器學習和深度學習框架、開發(fā)環(huán)境以及任務管理等多個部分。
資源管理部分，PAI靈駿通過容器技術（Docker）進行資源的劃分和調度，并兼容Kubernetes（K8s）等編排工具。
系統(tǒng)的運維和監(jiān)控，采用阿里巴巴的天基系統(tǒng)對集群的底層資源和狀態(tài)進行實時監(jiān)控。
支持加速庫，主要對PAI靈駿集群的通信進行了深度的定制優(yōu)化。
計算系統(tǒng)支持任務的界面化提交和任務日志查看，支持主流的AI計算框架，例如：PyTorch、TensorFlow等。
為什么選擇PAI靈駿
選擇PAI靈駿，您可以輕松構建具有以下優(yōu)勢的智能集群：
算力即服務。提供高性能、高彈性異構算力服務，支持萬張GPU規(guī)模的資源彈性，單集群網絡容量高達4Pbps，時延低至2微秒。
高資源效率。資源利用率提升3倍，并行計算效率提升90%以上。
融合算力池。支持AI+HPC場景算力的統(tǒng)一分配和融合調度，無縫連接。
算力管理監(jiān)控。為異構算力深度定制IT運維管理平臺，實現(xiàn)異構算力到池化資源到使用效率的全流程監(jiān)控管理。
產品優(yōu)勢
加速AI創(chuàng)新。全鏈路性能提速，計算密集型項目迭代效率可提升2倍以上。
最大化ROI。高效的池化異構算力調度技術，確保每一份算力投入都能得到充分利用，資源利用率可提升3倍。
無懼規(guī)模挑戰(zhàn)。輕松應對大模型和大規(guī)模工程仿真的算力需求，讓創(chuàng)新不受算力限制。
可視又可控。簡單地管理異構算力的分配，并持續(xù)地監(jiān)控和優(yōu)化。
應用場景
PAI靈駿主要面向圖形圖像識別、自然語言處理、搜索廣告推薦、通用大模型等大規(guī)模分布式的AI研發(fā)場景，適用于自動駕駛、金融風控、藥物研發(fā)、科學智能、元宇宙、互聯(lián)網和ISV等行業(yè)。
大規(guī)模分布式訓練。
超大規(guī)模GPU算力系統(tǒng)。
全對等網絡架構，全資源池化，可以搭配PAI（機器學習平臺）使用，支持多種訓練框架（Pytorch、TensorFlow、Caffe、Keras、XGBoost、Mxnet等），可以滿足多種規(guī)模的AI訓練和推理業(yè)務。
AI基礎設施。
平滑擴容。滿足不同規(guī)模GPU算力需求，平滑擴容，性能線性拓展。
智能數(shù)據(jù)加速。針對AI訓練場景提供數(shù)據(jù)智能加速，主動預熱訓練所需數(shù)據(jù)，提升訓練效率。
更高資源利用率。支持異構資源細粒度管控，提升資源周轉效率。
自動駕駛。
豐富的部署和調度策略。
多種GPU資源調度策略，保證訓練任務高效執(zhí)行。文件存儲CPFS（Cloud Paralleled File System）搭配RDMA網絡架構，保證訓練數(shù)據(jù)供給和計算IO；并可使用OSS分級存儲降低歸檔數(shù)據(jù)存儲成本。
同時支持訓練和仿真場景。
融合算力智能供應，同時支持訓練仿真兩種場景，從協(xié)同模式上提升迭代效率，降低數(shù)據(jù)遷移成本。
科學智能。
拓展提升創(chuàng)新上限。
基于數(shù)據(jù)中心超大規(guī)模RDMA“高速網”和通信流控技術，實現(xiàn)端到端微秒級通信時延，超大規(guī)模線性拓展可打造萬卡級并行算力。
融合生態(tài)，拓展創(chuàng)新邊界。
支持HPC和AI任務融合調度，為科研和AI提供統(tǒng)一協(xié)同的底座支撐，促進技術生態(tài)融合。
云上科研，普惠算力。
支持云原生和容器化的AI和HPC應用生態(tài)，資源深度共享，普惠的智能算力觸手可得。
功能特性
高速RDMA網絡架構。阿里巴巴2016年開始投入專項研究RDMA（Remote Direct Memory Access），
目前已建成大規(guī)模數(shù)據(jù)中心內的“高速網”，通過大規(guī)模RDMA網絡部署實踐，阿里云自主研發(fā)了基于端網協(xié)同的RDMA高性能網絡協(xié)議和HPCC擁塞控制算法，并通過智能網卡實現(xiàn)了協(xié)議硬件卸載，降低了端到端網絡延時，提升了網絡IO吞吐能力，并有效規(guī)避和弱化了網絡故障、網絡黑洞等傳統(tǒng)網絡異常給上層應用帶來的性能損失。
高性能集合通信庫ACCL。PAI靈駿支持高性能集合通信庫ACCL（Alibaba Collective Communication Library），結合硬件（例如：網絡交換機），對萬卡規(guī)模的AI集群提供無擁塞、高性能的集群通訊能力。阿里云通過通信庫ACCL實現(xiàn)了GPU和網卡的智能匹配、節(jié)點內外物理拓撲自動識別及拓撲感知的無擁塞通信算法，徹底消除網絡擁塞，提升網絡通信效率，提高分布式訓練系統(tǒng)的擴展性。在萬卡規(guī)模下，可達80%以上的線性集群能力。在百卡規(guī)模下，有效（計算）性能可達95%以上，可滿足80%以上的業(yè)務場景需求。
高性能數(shù)據(jù)主動加載加速軟件KSpeed。PAI靈駿基于高性能網絡RDMA和高性能通信ACCL，研發(fā)高性能數(shù)據(jù)主動加載加速軟件KSpeed，進行智能數(shù)據(jù)IO優(yōu)化。計算存儲分離架構廣泛存在于AI、HPC、大數(shù)據(jù)業(yè)務場景中，但大量訓練數(shù)據(jù)的加載容易形成效率瓶頸。阿里云通過高性能數(shù)據(jù)主動加載加速軟件KSpeed，實現(xiàn)數(shù)據(jù)IO數(shù)量級性能提升。
GPU容器虛擬化方案eGPU。針對AI作業(yè)規(guī)模龐大、GPU硬件資源昂貴、集群GPU利用率低等業(yè)務場景實際遇到的問題，PAI靈駿支持GPU虛擬化技術eGPU，可有效提升AI集群的GPU利用率，具體如下：
支持顯存、算力雙維度自由切分。
支持多個規(guī)格。
支持動態(tài)創(chuàng)建、銷毀。
支持熱升級。
支持用戶態(tài)技術，保證更高可靠性。
PAI靈駿網絡使用限制
限制項 | 限制 | 提升配額方式 |
單個賬號在同一地域支持創(chuàng)建的靈駿網段數(shù)量 | 8 | 具體操作，請參見管理配額。 |
單個靈駿網段支持創(chuàng)建的靈駿子網數(shù)量 | 16 | 具體操作，請參見管理配額。 |
單個靈駿子網內的靈駿節(jié)點數(shù)量 | 1000 | 無 |
單個靈駿網段內的靈駿節(jié)點數(shù)量 | 1000 | 無 |
靈駿網段和靈駿子網支持配置的網段 | 可以使用除 | 無 |
單個賬號在同一地域支持創(chuàng)建的靈駿連接實例數(shù)量 | 16 | 無 |
單個靈駿連接實例從公共云學習的IPv4路由條目數(shù) | 50 | 無 |
單個靈駿連接實例從公共云學習的IPv6路由條目數(shù) | 25 | 無 |
單個賬號在同一地域支持創(chuàng)建的靈駿HUB實例數(shù)量 | 4 | 具體操作，請參見管理配額。 |
單個靈駿網段支持連接的靈駿HUB數(shù)量 | 1 | 具體操作，請參見管理配額。 |
單個靈駿連接支持連通的靈駿HUB實例數(shù)量 | 1 | 具體操作，請參見管理配額。 |
單個靈駿HUB實例支持連通的靈駿連接數(shù)量 | 32 | 具體操作，請參見管理配額。 |
單個靈駿HUB實例支持的同一地域所有靈駿網段中的靈駿節(jié)點數(shù)量 | 2000 | 無 |
單個靈駿HUB支持配置的路由策略條目數(shù)量 | 100 | 無 |
單個靈駿網卡支持的輔助私網IP數(shù)量 | 3 | 具體操作，請參見管理配額。 |