與常規的異構實例相比,阿里云彈性加速計算實例EAIS具有解耦性、低成本、彈性、多適配性和高性能的優勢。
解耦性
常規GPU實例的CPU、內存和GPU是部署在同一臺物理機上的。EAIS實例可以將CPU與GPU成功解耦,其CPU、內存和GPU可以存在于不同的物理機中。您可以根據對CPU和內存的需求選擇一款ECS實例,然后再匹配一個EAIS實例,即可生成一款滿足您需求的新規格GPU實例。
低成本
EAIS實例能夠將推理成本降低多達50%。您可以單獨制定所需的推理加速量級,無需超額預置GPU資源,選擇最合適您應用的實例類型即可。
以您需要一個內存超過128 GiB,且只帶一塊GPU的實例為例,說明如下:
使用常規GPU實例:
在常規GPU實例規格中,能剛好滿足您需求的實例規格有如下幾種選擇:
實例規格
vCPU
內存(GiB)
GPU
GPU顯存(GB)
ecs.gn6i-c24g1.12xlarge
48
186.0
T4*2
32
ecs.gn6v-c8g1.8xlarge
32
128.0
V100*4
64
ecs.gn6e-c12g1.12xlarge
48
368.0
V100*4
128
如上表所示,您購買的GPU實例可能會自帶多個GPU資源,此時,將會造成超額預置GPU資源的浪費。
使用EAIS實例:
您只需要購買如下計算資源:
產品
實例規格
指標數據
云服務器ECS
ecs.r6.6xlarge
24 vCPU 192 GiB
彈性計算加速實例EAIS
eais.ei-a6.4xlarge
16 TFLOPS/FP32,32 GB/顯存
綜上所述,如果您購買GPU實例,則只能在已有的固定實例規格中進行選擇,并且您需要為該實例的全部資源付費。而使用EAIS實例,您只需選擇一個內存滿足您業務需求的不帶GPU的ECS實例,然后再匹配一個算力和顯存滿足您業務需求的EAIS實例,即可靈活地解決相同的問題場景,具有明顯的低成本優勢。
彈性
EAIS實例可以準確獲取您所需的資源,為您靈活匹配GPU資源。您可以輕松擴展和縮減推理加速量級以滿足您的業務需求,不會過度投資預置資源,具體說明如下:
當需要增加ECS實例以滿足不斷增長的需求時,您可以為每個ECS實例擴展EAIS實例。
當需求降低時,您也可以隨時釋放任意ECS實例綁定的EAIS實例,在需要時,重新創建并綁定EAIS實例到該ECS實例上,可以靈活匹配和使用GPU資源,避免資源閑置帶來的計費。
多適配性
EAIS實例具有極強的適配性,能夠支持GPU、NPU、FPGA多種異構硬件的適配,種類多樣,適配性強。
高性能
EAIS實例可以為您提供模型推理加速功能。相較于常規的GPU實例,使用同等算力的EAIS實例進行推理能夠獲得更高的性能。