日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

使用NAS提交單機PyTorch遷移學習任務

本文介紹如何使用DLC、DSWNAS,基于PyTorch進行離線遷移訓練。

前提條件

選擇合適的地域,創建通用型NAS文件系統,詳情請參見通過控制臺創建通用型NAS文件系統。

使用限制

本文的操作僅支持通用計算資源公共資源組的工作集群。

步驟一:創建數據集

  1. 進入數據集管理頁面。

    1. 登錄PAI控制臺。

    2. 在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應的工作空間。

    3. 在左側導航欄,選擇AI資產管理 > 數據集。

  2. 創建基礎數據集,其中,存儲類型選擇為文件存儲(通用型NAS)。

步驟二:創建DSW實例

創建DSW實例時,您需要在數據集區域單擊添加,選擇步驟一創建的NAS類型數據集,并將掛載路徑配置為/mnt/data/,工作目錄選擇數據集-/mnt/data/。

其他參數配置詳情,請參見創建DSW實例。

image

步驟三:準備數據

本文使用的數據已經存放在公開地址,您可以直接下載(下載數據),解壓后即可使用。

  1. 進入DSW開發環境。

    1. 登錄PAI控制臺

    2. 在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間內。

    3. 在頁面左上方,選擇使用服務的地域。

    4. 在左側導航欄,選擇模型開發與訓練 > 交互式建模(DSW)。

    5. 可選:交互式建模(DSW)頁面的搜索框,輸入實例名稱或關鍵字,搜索實例。

    6. 單擊需要打開的實例操作列下的打開

  2. DSW開發環境的頂部菜單欄,單擊Notebook頁簽。

  3. 下載數據。

    1. 單擊左上方工具欄中的創建文件夾圖標,創建文件夾(例如pytorch_transfer_learning)。

    2. DSW開發環境的頂部菜單欄,單擊Terminal頁簽,即可打開Terminal。

    3. Terminal中,使用cd命令進入已創建的文件夾,并通過wget命令下載數據集,如下圖所示。

      cd /mnt/workspace/pytorch_transfer_learning/
      wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/data.tar.gz

      其中https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/data.tar.gz表示數據集地址,即從該地址下載數據集。

      image

    4. 使用tar -xf ./data.tar.gz命令解壓數據集。

    5. 切換到Notebook頁簽,在左側目錄樹,進入目錄pytorch_transfer_learning中,右鍵單擊已解壓的數據文件夾(hymenoptera_data),在快捷菜單中,單擊Rename將該文件重命名為input,以便后續操作。

步驟四:準備訓練代碼和模型存儲文件夾

  1. DSW實例的Terminal中,使用wget命令將訓練代碼下載到pytorch_transfer_learning文件夾下。

    cd /mnt/workspace/pytorch_transfer_learning/
    wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/main.py

    其中https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/main.py表示訓練代碼存儲地址。

  2. pytorch_transfer_learning文件夾下,創建名為output的文件夾,用于存儲訓練完成的模型。

    mkdir output
  3. 查看pytorch_transfer_learning文件夾的內容。

    文件夾下包括如下文件:

    • input:訓練數據文件夾。

    • main.py:訓練代碼。

    • output:模型存儲文件夾。

    最終的文件夾內容

步驟五:創建任務

  1. 進入新建任務頁面。

    1. 登錄PAI控制臺

    2. 在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間內。

    3. 在工作空間頁面的左側導航欄選擇模型開發與訓練 > 分布式訓練(DLC),在分布式訓練(DLC)頁面中單擊新建任務,進入新建任務頁面。

  2. 新建任務頁面,配置如下參數。

    區域

    參數

    描述

    基本信息

    任務名稱

    深度學習訓練的任務名稱。

    節點鏡像

    選擇官方鏡像 ,并在下面列表中選擇PyTorch鏡像。例如:選擇pytorch-training:1.12pai-gpu-py38-cu113-ubuntu20.04。

    數據集配置

    選擇步驟一創建的NAS類型數據集。

    代碼配置

    無需配置。

    啟動命令

    配置為python /mnt/data/pytorch_transfer_learning/main.py -i /mnt/data/pytorch_transfer_learning/input -o /mnt/data/pytorch_transfer_learning/output。

    三方庫配置

    選擇三方庫列表,并在下方文本框中輸入以下內容。

    numpy==1.16.4
    absl-py==0.11.0

    資源配置

    資源配額

    選擇公共資源

    框架

    選擇Pytorch

    任務資源

    選擇一臺合適的服務器。例如:資源規格選擇CPU下的ecs.g6.xlarge,節點數量配置為1。

  3. 單擊確定

步驟六:查看任務詳情和日志結果

  1. 分布式訓練任務頁面,單擊任務的名稱。

  2. 任務詳情頁面,即可查看任務的基本信息基本任務配置等信息。

  3. 任務詳情頁面底部的實例頁簽,單擊目標實例操作列下的日志,即可查看日志結果。

    日志結果如下圖所示。image.png