安裝cGPU服務

無論您是企業認證用戶還是個人實名認證用戶，推薦您通過ACK的Docker運行時環境安裝和使用cGPU服務。

1. 創建集群。

   具體操作，請參見創建ACK托管集群。

2. 在集群列表頁面，單擊目標集群名稱，然后在左側導航欄，選擇應用 > 云原生AI套件。

在云原生AI套件頁面，單擊一鍵部署。

3. 在基礎能力區域，選中調度策略擴展（批量任務調度、GPU共享、GPU拓撲感知）。

4. 單擊頁面底部的部署云原生AI套件。

   組件安裝成功后，在云原生AI套件頁面的組件列表中能看到已安裝的共享GPU組件ack-ai-installer。

使用cGPU服務

本文以ecs.gn6i-c4g1.xlarge為例演示2個容器共用1張顯卡。

GPU 0: Tesla T4 (UUID: GPU-b084ae33-e244-0959-cd97-83****)
GPU 1: Tesla T4 (UUID: GPU-3eb465ad-407c-4a23-0c5f-bb****)
GPU 2: Tesla T4 (UUID: GPU-2fce61ea-2424-27ec-a2f1-8b****)
GPU 3: Tesla T4 (UUID: GPU-22401369-db12-c6ce-fc48-d7****)

運行cGPU服務

1. 執行以下命令，創建容器并設置容器內可見的顯存。

   本示例中，設置ALIYUN_COM_GPU_MEM_CONTAINER和ALIYUN_COM_GPU_MEM_DEV環境變量指定顯卡的總顯存和容器內可見的顯存。例如創建2個容器：

   • gpu_test1：分配6 GiB顯存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   • gpu_test2：分配8 GiB顯存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   說明

   該命令以使用TensorFlow鏡像nvcr.io/nvidia/tensorflow:19.10-py3為例，請根據實際情況更換為您自己的容器鏡像。使用TensorFlow鏡像搭建TensorFlow深度學習框架的操作，請參見部署NGC環境構建深度學習開發環境。

2. 執行以下命令，查看容器的顯存等GPU信息。

   sudo docker exec -i gpu_test1 nvidia-smi

   以gpu_test1為例，容器gpu_test1中可見的顯存為6043 MiB，如下圖所示：

通過procfs節點查看cGPU服務

cGPU服務運行時會在/proc/cgpu_km下生成并自動管理多個procfs節點，您可以通過procfs節點查看和配置cGPU服務相關的信息。

1. 執行以下命令，查看procfs節點信息。

   ls /proc/cgpu_km/

   執行結果如下所示：

   

   節點信息說明

   節點信息	讀寫類型	說明
   0	讀寫	cGPU服務會針對GPU實例中的每張顯卡生成一個目錄。并使用數字作為目錄名稱，例如0、1、2。 本示例中只有一張顯卡，對應的目錄為0。
   default_memsize	讀寫	如果沒有設置ALIYUN_COM_GPU_MEM_CONTAINER參數，默認為新創建的容器分配的顯存大小。
   inst_ctl	讀寫	控制節點。
   upgrade	讀寫	控制cGPU服務的熱升級。
   version	只讀	cGPU的版本。

2. 執行以下命令，查看GPU實例的顯卡目錄內容。

   本示例中，以顯卡0為例。

   ls /proc/cgpu_km/0

   執行結果如下所示：

   

   顯卡目錄內容說明

   顯卡目錄	讀寫類型	說明
   012b2edccd7a或0852a381c0cf	讀寫	容器對應的目錄。 cGPU服務會針對運行在GPU實例中的每個容器生成一個的目錄，并使用容器ID作為目錄名稱。 說明 您可以執行docker ps查看已創建的容器。
   free_weight	只讀	用于查詢和修改顯卡上可用的權重。 如果free_weight=0，新創建容器的權重值為0，該容器不能獲取GPU算力，不能用于運行需要GPU算力的應用。
   major	只讀	表示cGPU的major number，即不同的設備類型。
   max_inst	讀寫	用于設置容器的最大數量，取值范圍為1~25。
   policy	讀寫	cGPU服務支持以下算力調度策略： 0：平均調度。每個容器占用固定的時間片，時間片占比為1/max_inst。 1：搶占調度。每個容器占用盡量多的時間片，時間片占比為1/當前容器數。 2：權重搶占調度。當ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1時，自動使用權重搶占調度。 3：固定算力調度。用于固定算力的百分比。 4：算力弱調度。隔離性弱于搶占調度。 5：原生調度。即GPU驅動本身的調度方式。 您可以通過修改policy的值實時調整調度策略。更多調度策略說明，請參見cGPU服務使用示例。
   prio_ratio	讀寫	在線和離線混合使用場景下，高優先級容器最大可以搶占的算力。取值范圍：20~99。

3. 執行以下命令，查看容器對應的目錄內容。

   本示例中，以012b2edccd7a容器為例。

   ls /proc/cgpu_km/0/012b2edccd7a

   執行結果如下所示：

   

   容器目錄內容說明

   容器目錄	讀寫類型	說明
   highprio	讀寫	用于設置容器的優先級，默認值為0。 當ALIYUN_COM_GPU_HIGH_PRIO參數取值為1時，表示容器最大可以搶占prio_ratio參數的算力。 說明 該功能用于在線和離線混合使用場景。
   id	只讀	容器的ID。
   memsize	讀寫	用于設置容器內的顯存大小。cGPU服務會根據ALIYUN_COM_GPU_MEM_DEV參數自動設定此值。
   meminfo	只讀	包括容器內剩余顯存容量、正在使用GPU的進程ID及其顯存用量。輸出如下所示： Free: 6730809344 PID: 19772 Mem: 200278016
   weight	讀寫	用于設置容器獲取顯卡最大算力的權重，默認值為1。所有運行中的容器的權重之和必須小于等于max_inst。

4. （可選）執行以下命令，配置cGPU服務。

   了解procfs節點的用途后，您可以在GPU實例中執行命令進行切換調度策略、修改權重等操作，示例命令如下表所示。

   命令	效果
   echo 2 > /proc/cgpu_km/0/policy	將調度策略切換為權重搶占調度。
   cat /proc/cgpu_km/0/free_weight	查看顯卡上可用的權重。如果free_weight=0，新創建容器的權重值為0，該容器不能獲取GPU算力，不能用于運行需要GPU算力的應用。
   cat /proc/cgpu_km/0/$dockerid/weight	查看指定容器的權重。
   echo 4 > /proc/cgpu_km/0/$dockerid/weight	修改容器獲取GPU算力的權重。

通過cgpu-smi工具查看cGPU容器

您可以通過cgpu-smi工具查看cGPU容器的相關信息，包括容器ID、GPU利用率、算力限制、使用的顯存以及分配顯存的總量等信息。

cgpu-smi的監控展示信息如下所示：

升級或卸載cGPU服務

cGPU服務使用示例

docker run -d -t --runtime=nvidia  --name gpu_test0123 --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=3,4,5,6 -e ALIYUN_COM_GPU_MEM_DEV=23 -e NVIDIA_VISIBLE_DEVICES=0,1,2,3 nvcr.io/nvidia/tensorflow:21.03-tf1-py3
docker exec -i gpu_test0123   nvidia-smi