AIACC-ACSpeed專注于分布式訓練場景的通信優化庫,通過模塊化的解耦優化設計,實現了分布式訓練在兼容性、適用性和性能加速等方面的升級。本文為您介紹安裝和使用AIACC-ACSpeed v1.1.0的方法。
前提條件
已創建阿里云GPU實例,且GPU實例需滿足以下要求:
操作系統為Alibaba Cloud Linux、CentOS 7.x、Ubuntu 16.04或以上版本。
已安裝NVIDIA Driver和CUDA 10.0或以上版本。
支持的版本列表
AIACC-ACSpeed(本文簡稱ACSpeed)v1.1.0支持PyTorch、Cuda、Python以及NGC鏡像版本,版本對應關系如下所示。
類型 | PyTorch Version | CUDA Version | Python Version |
官方PyTorch版本 | 1.6.0 | 10.1 | 3.6/3.7/3.8 |
1.8.0 | 10.1/10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.8.1 | 10.1/10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.9.0 | 10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.9.1 | 10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.10.0 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.10.1 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.10.2 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.11.0 | 10.2/11.3 | 3.7/3.8/3.9/3.10 | |
1.12.0 | 10.2/11.3/11.6 | 3.7/3.8/3.9/3.10 | |
1.12.1 | 10.2/11.3/11.6 | 3.7/3.8/3.9/3.10 | |
1.13.0 | 11.6 | 3.7/3.8/3.9/3.10 | |
1.13.1 | 11.6 | 3.7/3.8/3.9/3.10 | |
2.0.0 | 11.7 | 3.7/3.8/3.9/3.10 | |
NGC鏡像版本(nvcr.io/nvidia/pytorch:22.06-py3) | 1.13.0a0 | 11.7 | 3.8 |
安裝AIACC-ACSpeed
執行如下命令,下載ACSpeed v1.1.0。
wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/ACSpeed/acspeed-1.1.0.tar.gz
執行如下命令,安裝ACSpeed v1.1.0。
pip install acspeed-1.1.0.tar.gz
使用AIACC-ACSpeed
使用ACSpeed時,通過適配代碼來快速啟用ACSpeed即可。
您僅需在訓練代碼主函數對應的文件上增加一行import
命令導入ACSpeed代碼即可,一般可以選擇在torch導入的地方。命令行示例如下所示:
import torch
import acspeed