本文介紹如何使用DLC、DSW和NAS,基于PyTorch進行離線遷移訓練。
前提條件
選擇合適的地域,創建通用型NAS文件系統,詳情請參見通過控制臺創建通用型NAS文件系統。
使用限制
本文的操作僅支持通用計算資源公共資源組的工作集群。
步驟一:創建數據集
步驟二:創建DSW實例
創建DSW實例時,您需要在數據集區域單擊添加,選擇步驟一創建的NAS類型數據集,并將掛載路徑配置為/mnt/data/
,工作目錄選擇數據集-/mnt/data/
。
其他參數配置詳情,請參見創建DSW實例。
步驟三:準備數據
本文使用的數據已經存放在公開地址,您可以直接下載(下載數據),解壓后即可使用。
進入DSW開發環境。
登錄PAI控制臺
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間內。
在頁面左上方,選擇使用服務的地域。
在左側導航欄,選擇 。
可選:在交互式建模(DSW)頁面的搜索框,輸入實例名稱或關鍵字,搜索實例。
單擊需要打開的實例操作列下的打開。
在DSW開發環境的頂部菜單欄,單擊Notebook頁簽。
下載數據。
單擊左上方工具欄中的圖標,創建文件夾(例如pytorch_transfer_learning)。
在DSW開發環境的頂部菜單欄,單擊Terminal頁簽,即可打開Terminal。
在Terminal中,使用
cd
命令進入已創建的文件夾,并通過wget
命令下載數據集,如下圖所示。cd /mnt/workspace/pytorch_transfer_learning/ wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/data.tar.gz
其中
https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/data.tar.gz
表示數據集地址,即從該地址下載數據集。使用
tar -xf ./data.tar.gz
命令解壓數據集。切換到Notebook頁簽,在左側目錄樹,進入目錄pytorch_transfer_learning中,右鍵單擊已解壓的數據文件夾(hymenoptera_data),在快捷菜單中,單擊Rename將該文件重命名為input,以便后續操作。
步驟四:準備訓練代碼和模型存儲文件夾
在DSW實例的Terminal中,使用
wget
命令將訓練代碼下載到pytorch_transfer_learning
文件夾下。cd /mnt/workspace/pytorch_transfer_learning/ wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/main.py
其中
https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/main.py
表示訓練代碼存儲地址。在pytorch_transfer_learning文件夾下,創建名為output的文件夾,用于存儲訓練完成的模型。
mkdir output
查看pytorch_transfer_learning文件夾的內容。
文件夾下包括如下文件:
input:訓練數據文件夾。
main.py:訓練代碼。
output:模型存儲文件夾。
步驟五:創建任務
進入新建任務頁面。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間內。
在工作空間頁面的左側導航欄選擇
,在分布式訓練(DLC)頁面中單擊新建任務,進入新建任務頁面。
在新建任務頁面,配置如下參數。
區域
參數
描述
基本信息
任務名稱
深度學習訓練的任務名稱。
節點鏡像
選擇官方鏡像 ,并在下面列表中選擇PyTorch鏡像。例如:選擇
pytorch-training:1.12pai-gpu-py38-cu113-ubuntu20.04
。數據集配置
選擇步驟一創建的NAS類型數據集。
代碼配置
無需配置。
啟動命令
配置為
python /mnt/data/pytorch_transfer_learning/main.py -i /mnt/data/pytorch_transfer_learning/input -o /mnt/data/pytorch_transfer_learning/output
。三方庫配置
選擇三方庫列表,并在下方文本框中輸入以下內容。
numpy==1.16.4 absl-py==0.11.0
資源配置
資源配額
選擇公共資源。
框架
選擇Pytorch。
任務資源
選擇一臺合適的服務器。例如:資源規格選擇CPU下的ecs.g6.xlarge,節點數量配置為1。
單擊確定。
步驟六:查看任務詳情和日志結果
在分布式訓練任務頁面,單擊任務的名稱。
在任務詳情頁面,即可查看任務的基本信息及基本任務配置等信息。
在任務詳情頁面底部的實例頁簽,單擊目標實例操作列下的日志,即可查看日志結果。
日志結果如下圖所示。