安裝cGPU服務(wù)

無論您是企業(yè)認(rèn)證用戶還是個人實名認(rèn)證用戶，推薦您通過ACK的Docker運行時環(huán)境安裝和使用cGPU服務(wù)。

1. 創(chuàng)建集群。

   具體操作，請參見創(chuàng)建ACK托管集群。

2. 在集群列表頁面，單擊目標(biāo)集群名稱，然后在左側(cè)導(dǎo)航欄，選擇應(yīng)用 > 云原生AI套件。

在云原生AI套件頁面，單擊一鍵部署。

3. 在基礎(chǔ)能力區(qū)域，選中調(diào)度策略擴展（批量任務(wù)調(diào)度、GPU共享、GPU拓?fù)涓兄?/b>

4. 單擊頁面底部的部署云原生AI套件。

   組件安裝成功后，在云原生AI套件頁面的組件列表中能看到已安裝的共享GPU組件ack-ai-installer。

使用cGPU服務(wù)

本文以ecs.gn6i-c4g1.xlarge為例演示2個容器共用1張顯卡。

GPU 0: Tesla T4 (UUID: GPU-b084ae33-e244-0959-cd97-83****)
GPU 1: Tesla T4 (UUID: GPU-3eb465ad-407c-4a23-0c5f-bb****)
GPU 2: Tesla T4 (UUID: GPU-2fce61ea-2424-27ec-a2f1-8b****)
GPU 3: Tesla T4 (UUID: GPU-22401369-db12-c6ce-fc48-d7****)

運行cGPU服務(wù)

1. 執(zhí)行以下命令，創(chuàng)建容器并設(shè)置容器內(nèi)可見的顯存。

   本示例中，設(shè)置ALIYUN_COM_GPU_MEM_CONTAINER和ALIYUN_COM_GPU_MEM_DEV環(huán)境變量指定顯卡的總顯存和容器內(nèi)可見的顯存。例如創(chuàng)建2個容器：

   • gpu_test1：分配6 GiB顯存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   • gpu_test2：分配8 GiB顯存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   說明

   該命令以使用TensorFlow鏡像nvcr.io/nvidia/tensorflow:19.10-py3為例，請根據(jù)實際情況更換為您自己的容器鏡像。使用TensorFlow鏡像搭建TensorFlow深度學(xué)習(xí)框架的操作，請參見部署NGC環(huán)境構(gòu)建深度學(xué)習(xí)開發(fā)環(huán)境。

2. 執(zhí)行以下命令，查看容器的顯存等GPU信息。

   sudo docker exec -i gpu_test1 nvidia-smi

   以gpu_test1為例，容器gpu_test1中可見的顯存為6043 MiB，如下圖所示：

通過procfs節(jié)點查看cGPU服務(wù)

cGPU服務(wù)運行時會在/proc/cgpu_km下生成并自動管理多個procfs節(jié)點，您可以通過procfs節(jié)點查看和配置cGPU服務(wù)相關(guān)的信息。

1. 執(zhí)行以下命令，查看procfs節(jié)點信息。

   ls /proc/cgpu_km/

   執(zhí)行結(jié)果如下所示：

   

   節(jié)點信息說明

   節(jié)點信息	讀寫類型	說明
   0	讀寫	cGPU服務(wù)會針對GPU實例中的每張顯卡生成一個目錄。并使用數(shù)字作為目錄名稱，例如0、1、2。 本示例中只有一張顯卡，對應(yīng)的目錄為0。
   default_memsize	讀寫	如果沒有設(shè)置ALIYUN_COM_GPU_MEM_CONTAINER參數(shù)，默認(rèn)為新創(chuàng)建的容器分配的顯存大小。
   inst_ctl	讀寫	控制節(jié)點。
   upgrade	讀寫	控制cGPU服務(wù)的熱升級。
   version	只讀	cGPU的版本。

2. 執(zhí)行以下命令，查看GPU實例的顯卡目錄內(nèi)容。

   本示例中，以顯卡0為例。

   ls /proc/cgpu_km/0

   執(zhí)行結(jié)果如下所示：

   

   顯卡目錄內(nèi)容說明

   顯卡目錄	讀寫類型	說明
   012b2edccd7a或0852a381c0cf	讀寫	容器對應(yīng)的目錄。 cGPU服務(wù)會針對運行在GPU實例中的每個容器生成一個的目錄，并使用容器ID作為目錄名稱。 說明 您可以執(zhí)行docker ps查看已創(chuàng)建的容器。
   free_weight	只讀	用于查詢和修改顯卡上可用的權(quán)重。 如果free_weight=0，新創(chuàng)建容器的權(quán)重值為0，該容器不能獲取GPU算力，不能用于運行需要GPU算力的應(yīng)用。
   major	只讀	表示cGPU的major number，即不同的設(shè)備類型。
   max_inst	讀寫	用于設(shè)置容器的最大數(shù)量，取值范圍為1~25。
   policy	讀寫	cGPU服務(wù)支持以下算力調(diào)度策略： 0：平均調(diào)度。每個容器占用固定的時間片，時間片占比為1/max_inst。 1：搶占調(diào)度。每個容器占用盡量多的時間片，時間片占比為1/當(dāng)前容器數(shù)。 2：權(quán)重?fù)屨颊{(diào)度。當(dāng)ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1時，自動使用權(quán)重?fù)屨颊{(diào)度。 3：固定算力調(diào)度。用于固定算力的百分比。 4：算力弱調(diào)度。隔離性弱于搶占調(diào)度。 5：原生調(diào)度。即GPU驅(qū)動本身的調(diào)度方式。 您可以通過修改policy的值實時調(diào)整調(diào)度策略。更多調(diào)度策略說明，請參見cGPU服務(wù)使用示例。
   prio_ratio	讀寫	在線和離線混合使用場景下，高優(yōu)先級容器最大可以搶占的算力。取值范圍：20~99。

3. 執(zhí)行以下命令，查看容器對應(yīng)的目錄內(nèi)容。

   本示例中，以012b2edccd7a容器為例。

   ls /proc/cgpu_km/0/012b2edccd7a

   執(zhí)行結(jié)果如下所示：

   

   容器目錄內(nèi)容說明

   容器目錄	讀寫類型	說明
   highprio	讀寫	用于設(shè)置容器的優(yōu)先級，默認(rèn)值為0。 當(dāng)ALIYUN_COM_GPU_HIGH_PRIO參數(shù)取值為1時，表示容器最大可以搶占prio_ratio參數(shù)的算力。 說明 該功能用于在線和離線混合使用場景。
   id	只讀	容器的ID。
   memsize	讀寫	用于設(shè)置容器內(nèi)的顯存大小。cGPU服務(wù)會根據(jù)ALIYUN_COM_GPU_MEM_DEV參數(shù)自動設(shè)定此值。
   meminfo	只讀	包括容器內(nèi)剩余顯存容量、正在使用GPU的進程ID及其顯存用量。輸出如下所示： Free: 6730809344 PID: 19772 Mem: 200278016
   weight	讀寫	用于設(shè)置容器獲取顯卡最大算力的權(quán)重，默認(rèn)值為1。所有運行中的容器的權(quán)重之和必須小于等于max_inst。

4. （可選）執(zhí)行以下命令，配置cGPU服務(wù)。

   了解procfs節(jié)點的用途后，您可以在GPU實例中執(zhí)行命令進行切換調(diào)度策略、修改權(quán)重等操作，示例命令如下表所示。

   命令	效果
   echo 2 > /proc/cgpu_km/0/policy	將調(diào)度策略切換為權(quán)重?fù)屨颊{(diào)度。
   cat /proc/cgpu_km/0/free_weight	查看顯卡上可用的權(quán)重。如果free_weight=0，新創(chuàng)建容器的權(quán)重值為0，該容器不能獲取GPU算力，不能用于運行需要GPU算力的應(yīng)用。
   cat /proc/cgpu_km/0/$dockerid/weight	查看指定容器的權(quán)重。
   echo 4 > /proc/cgpu_km/0/$dockerid/weight	修改容器獲取GPU算力的權(quán)重。

通過cgpu-smi工具查看cGPU容器

您可以通過cgpu-smi工具查看cGPU容器的相關(guān)信息，包括容器ID、GPU利用率、算力限制、使用的顯存以及分配顯存的總量等信息。

cgpu-smi的監(jiān)控展示信息如下所示：

升級或卸載cGPU服務(wù)

cGPU服務(wù)使用示例

docker run -d -t --runtime=nvidia  --name gpu_test0123 --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=3,4,5,6 -e ALIYUN_COM_GPU_MEM_DEV=23 -e NVIDIA_VISIBLE_DEVICES=0,1,2,3 nvcr.io/nvidia/tensorflow:21.03-tf1-py3
docker exec -i gpu_test0123   nvidia-smi