手動安裝方式

1. 準備Docker環境。

   1. 執行以下命令，安裝或升級docker-ce。

      • 基于Ubuntu操作系統

        sudo apt update
        sudo apt remove docker docker-engine docker-ce docker.io containerd runc
        sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
        sudo curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
        sudo apt-key fingerprint 0EBFCD88
        sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
        sudo apt update
        sudo apt install docker-ce
        docker -v

      • 基于Alibaba Cloud Linux系統

        sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
        sudo yum install -y yum-utils
        sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
        sudo yum install docker-ce docker-ce-cli containerd.io
        sudo systemctl start docker
        sudo systemctl enable docker

        如果執行上述命令安裝失敗，您可以繼續執行以下命令安裝或升級docker-ce。

        yum-config-manager --add-repo https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo
        sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
        

   2. 執行以下命令，安裝nvidia-container-toolkit。

      基于Ubuntu操作系統

      sudo curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
        && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
          sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
          sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list \
        && \
          sudo apt-get update
      
      sudo apt-get install -y nvidia-container-toolkit
      sudo nvidia-ctk runtime configure --runtime=docker
      sudo systemctl restart docker

      基于Alibaba Cloud Linux系統

      distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
      curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo
      yum clean expire-cache
      yum install -y nvidia-docker2
      systemctl restart docker

      如需了解更多信息，請參見Installing the NVIDIA Container Toolkit。

2. 執行以下命令，在Docker環境中拉取并啟用Docker鏡像。

   本示例以拉取pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel鏡像為例。

   sudo docker pull pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel
   sudo docker run -ti --gpus all --name="deepgpu_llm" --network=host \
              -v /root/workspace:/root/workspace \
              --shm-size 5g pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel

   主要參數說明

   參數項	說明
   --shm-size	指定容器的共享內存大小，其大小會影響Triton服務器部署。 例如：--shm-size 5g表示將共享內存大小設置為5 GB。您可以根據需要調整此值，以滿足您的模型推理所需的內存需求。
   -v /root/workspace:/root/workspace	將主機目錄映射到Docker中的相應目錄，使得主機和Docker之間可以共享文件，請根據您實際環境情況進行映射。
   pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel	PyTorch的Docker映像標簽

3. 執行以下命令，安裝依賴庫。

   apt update
   apt install openmpi-bin libopenmpi-dev curl

   上述命令安裝的openmpi-bin提供了OpenMPI、libopenmpi-dev軟件包以及curl軟件包。

4. 安裝DeepGPU-LLM。

   根據所需的DeepGPU-LLM版本和依賴PyTorch版本，通過pip3 install命令安裝DeepGPU-LLM。如何獲取最新DeepGPU-LLM版本號，請參見DeepGPU-LLM加速安裝包。

   sudo pip3 install deepgpu_llm=={DeepGPU-LLM版本號}+{PyTorch版本}{CUDA版本} \
       -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/aiacc-inference-llm/deepgpu_llm.html

   例如{DeepGPU-LLM版本號}為24.3、{PyTorch版本}為pt2.1、{CUDA版本}為cu121表示安裝24.3版本的DeepGPU-LLM。

   sudo pip3 install deepgpu_llm==24.3+pt2.1cu121 \
       -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/aiacc-inference-llm/deepgpu_llm.html

5. 執行以下命令，查看DeepGPU-LLM安裝狀態及版本。

   sudo pip list | grep deepgpu-llm

   顯示結果如下，表示DeepGPU-LLM已成功安裝且當前版本為24.3。

   

容器鏡像安裝方式

使用DeepGPU-LLM容器鏡像可以快速安裝DeepGPU-LLM，您無需深入了解底層的硬件優化細節，該鏡像拉取完成后，無需額外配置即可開箱即用。

1. 獲取DeepGPU-LLM容器鏡像。

   1. 登錄容器鏡像服務控制臺。

   2. 在左側導航欄，單擊制品中心。

   3. 在倉庫名稱搜索框，搜索deepgpu選擇目標鏡像egs/deepgpu-llm。

      DeepGPU-LLM容器鏡像大概每3個月內更新一次。鏡像詳情如下所示：

      鏡像名稱	組件信息	鏡像地址	適用的GPU實例
      DeepGPU-LLM	DeepGPU-LLM：24.3 Python：3.10 PyTorch：2.1.0 CUDA：12.1.1 cuDNN：8.9.0.131 基礎鏡像：Ubuntu 22.04	egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/deepgpu-llm:24.3-pytorch2.1-cuda12.1-cudnn8-ubuntu22.04	DeepGPU-LLM鏡像僅支持以下GPU實例選擇，更多信息，請參見GPU計算型（gn系列）。 gn6e、ebmgn6e gn7i、ebmgn7i、ebmgn7ix gn7e、ebmgn7e、ebmgn7ex

2. 安裝DeepGPU-LLM。

   Docker環境安裝完成后，拉取已獲取的DeepGPU-LLM容器鏡像來安裝DeepGPU-LLM。具體操作，請參見安裝DeepGPU-LLM操作步驟。