使用限制

• 節(jié)點(diǎn)NVIDIA GPU驅(qū)動(dòng)版本≥418.87.01。如果您需要進(jìn)行GPU Profiling，則節(jié)點(diǎn)NVIDIA GPU驅(qū)動(dòng)版本≥450.80.02。關(guān)于GPU Profiling的更多信息，請(qǐng)參見Feature Overview。

  說(shuō)明

  • 目前使用的DCGM版本為2.3.6，該版本的DCGM在5XX系列的NVIDIA GPU驅(qū)動(dòng)上工作存在一些問(wèn)題，具體請(qǐng)參見dcgm-exporter collects metrics incorrectly?。

  • 您可以通過(guò)SSH登錄GPU節(jié)點(diǎn)，執(zhí)行nvidia-smi命令，查看安裝的GPU驅(qū)動(dòng)版本。更多信息，請(qǐng)參見通過(guò)SSH連接ACK專有集群的Master節(jié)點(diǎn)。

• 不支持對(duì)NVIDIA MIG進(jìn)行監(jiān)控。

注意事項(xiàng)

當(dāng)前DCGM可能會(huì)存在內(nèi)存泄漏的問(wèn)題，已通過(guò)為Exporter所在的Pod設(shè)置resources.limits來(lái)規(guī)避這個(gè)問(wèn)題。當(dāng)內(nèi)存使用達(dá)到Limits限制時(shí)，Exporter會(huì)重啟（一般一個(gè)月左右重啟一次），重啟后正常上報(bào)指標(biāo)，在重啟后的幾分鐘內(nèi)，Grafana可能會(huì)出現(xiàn)某些指標(biāo)的顯示異常（例如節(jié)點(diǎn)數(shù)突然變多），之后恢復(fù)正常。問(wèn)題詳情請(qǐng)參見The DCGM has a memory leak？。

費(fèi)用說(shuō)明

在ACK集群中使用ack-gpu-exporter組件時(shí)，默認(rèn)情況下它產(chǎn)生的阿里云Prometheus監(jiān)控指標(biāo)被視為基礎(chǔ)指標(biāo)，并且是免費(fèi)的。然而，如果您需要調(diào)整監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)時(shí)長(zhǎng)，即保留監(jiān)控?cái)?shù)據(jù)的時(shí)間超過(guò)阿里云為基礎(chǔ)監(jiān)控服務(wù)設(shè)定的默認(rèn)保留期限，這可能會(huì)產(chǎn)生額外的費(fèi)用。關(guān)于阿里云Prometheus的自定義收費(fèi)策略，請(qǐng)參見計(jì)費(fèi)概述。

操作步驟

1. 步驟一：開啟阿里云Prometheus監(jiān)控。

   請(qǐng)確保ack-arms-prometheus組件版本≥1.1.7、GPU組件≥v2。

   說(shuō)明

   • 查看或升級(jí)ack-arms-prometheus：在容器服務(wù)管理控制臺(tái)的集群詳情左側(cè)欄單擊運(yùn)維管理 > 組件管理，在頁(yè)面右側(cè)搜索arms，在ack-arms-prometheus卡片中查看或升級(jí)版本。

   • 查看或升級(jí)GPU組件：在容器服務(wù)管理控制臺(tái)的集群詳情左側(cè)欄單擊運(yùn)維管理 > Prometheus監(jiān)控，在頁(yè)面右上方單擊跳轉(zhuǎn)到Prometheus服務(wù)，在大盤列表查看或升級(jí)GPU相關(guān)的監(jiān)控大盤版本。

2. 驗(yàn)證阿里云Prometheus的GPU監(jiān)控能力。

   1. 部署tensorflow-benchmark應(yīng)用。

      1. 使用以下YAML內(nèi)容，創(chuàng)建tensorflow-benchmark.yaml文件。

         apiVersion: batch/v1
         kind: Job
         metadata:
           name: tensorflow-benchmark
         spec:
           parallelism: 1
           template:
             metadata:
               labels:
                 app: tensorflow-benchmark
             spec:
               containers:
               - name: tensorflow-benchmark
                 image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
                 command:
                 - bash
                 - run.sh
                 - --num_batches=50000
                 - --batch_size=8
                 resources:
                   limits:
                     nvidia.com/gpu: 1 #申請(qǐng)1張GPU卡。
                 workingDir: /root
               restartPolicy: Never

      2. 執(zhí)行以下命令，在GPU節(jié)點(diǎn)上部署tensorflow-benchmark應(yīng)用。

         kubectl apply -f tensorflow-benchmark.yaml

      3. 執(zhí)行以下命令，查看Pod狀態(tài)。

         kubectl get po

         預(yù)期輸出：

         NAME                         READY   STATUS    RESTARTS   AGE
         tensorflow-benchmark-k***   1/1     Running   0          114s

         由預(yù)取輸出得到，當(dāng)前Pod處于Running狀態(tài)。

   2. 查看GPU監(jiān)控大盤。

      1. 登錄容器服務(wù)管理控制臺(tái)，在左側(cè)導(dǎo)航欄單擊集群。

      2. 在集群列表頁(yè)面，單擊目標(biāo)集群名稱，然后在左側(cè)導(dǎo)航欄，選擇運(yùn)維管理 > Prometheus監(jiān)控。

      3. 在Prometheus監(jiān)控頁(yè)面，單擊GPU監(jiān)控頁(yè)簽，然后單擊集群GPU監(jiān)控-集群維度頁(yè)簽。

         從集群監(jiān)控大盤中可以看到GPU Pod運(yùn)行在節(jié)點(diǎn)cn-beijing.192.168.10.163上。

         

      4. 單擊集群GPU監(jiān)控-節(jié)點(diǎn)維度頁(yè)簽，選擇gpu_node為cn-beijing.192.168.10.163，查看該節(jié)點(diǎn)的GPU詳細(xì)信息。