AutoML CMD是AutoML的命令行接口工具,簡化了用戶在本地計算機上快速發起AutoML實驗的過程,并且適用于集成到用戶的各類業務項目中。本文為您介紹如何使用AutoML命令行工具。
前提條件
本文以在DSW Terminal中操作為例進行說明,您也可以根據實際情況選擇其他服務或工具。
已獲取阿里云賬號的鑒權AccessKey ID和AccessKey Secret,詳情請參見獲取AccessKey。
- 說明
Bucket所屬地域與PAI的地域一致。Bucket一旦創建,則無法更改其所屬地域。
已創建工作空間。詳情請參見創建工作空間。
已創建DSW實例,且準備3.8及以上版本的Python環境。詳情請參見創建DSW實例。
使用限制
僅支持macOS或Linux系統,暫不支持Windows系統。
操作步驟
步驟一:創建數據集
進入數據集管理頁面。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應的工作空間。
在左側導航欄,選擇
。
在數據集頁面,單擊新建數據集。
在創建數據集面板中,創建方式選擇從阿里云云產品,并配置以下關鍵參數,其他參數參照控制臺界面提示進行配置即可。
參數
描述
數據集名稱
自定義數據集名稱。
從阿里云云存儲創建
按照以下操作步驟上傳本地文件。
單擊,在選擇OSS目錄對話框,選擇已創建的Bucket,單擊上傳文件。
單擊查看本地文件或拖拽上傳文件,根據提示上傳文件mnist.py。
默認掛載路徑
數據的默認掛載路徑。本文以/mnt/oss/為例。
單擊提交,完成創建。
在數據集頁面,單擊復制數據集ID。
步驟二 :安裝命令行工具
進入DSW開發環境。
登錄PAI控制臺。
在頁面左上方,選擇DSW實例所在的地域。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊默認工作空間名稱,進入對應工作空間內。
在左側導航欄,選擇模型開發與訓練>交互式建模(DSW)。
單擊需要打開的實例操作列下的打開,進入DSW實例開發環境。
在Terminal執行如下命令,安裝命令行工具。
wget http://pai-automl.oss-cn-zhangjiakou.aliyuncs.com/release/client/install_upgrade_paiautoml.sh chmod +x install_upgrade_paiautoml.sh bash install_upgrade_paiautoml.sh
配置Config文件。
首次使用需要添加配置文件,執行如下命令,并配置相關參數。
automl config
參數
說明
accessKeyID
阿里云賬號的鑒權AccessKey ID和AccessKey Secret。
accessKeySecret
region
服務或專屬資源組所在的地域。本文以華東2(上海)為例,對應的region為
cn-shanghai
。其他地域ID,請參見地域和可用區。
步驟三:啟動實驗配置
上傳配置文件。
將以下文件上傳至DSW實例,具體操作,請參見上傳與下載數據文件。
配置文件。
在DSW實例的Notebook頁簽中,雙擊trial_service.ini文件,配置以下關鍵參數。
參數
描述
data_sources
數據集ID。
將
${data_sources}
替換為步驟一創建的數據集的ID。workspace_id
工作空間ID。
替換為當前DSW實例所在工作空間的ID。詳情請參見查看工作空間詳情。
model_path
保存模型的OSS路徑。
使用已創建的OSS Bucket,其中,
${exp_id}
、${trial_id}
為內置變量,不需要修改。按Ctrl+S保存trial_service.ini文件。
步驟四:啟動調優
在DSW實例的Terminal頁簽執行如下命令啟動調優。其中,<YOUR_WORKSPACE_ID>
需要替換為當前DSW實例所在工作空間的ID,詳情請參見查看工作空間詳情。
automl create hpo --config exp_service.yml --workspace_id <YOUR_WORKSPACE_ID>
步驟五:查看結果
進入自動機器學習(AutoML)頁面。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間內。
在左側導航欄,選擇模型開發與訓練>自動機器學習(AutoML)。
查看實驗。
在自動機器學習(AutoML)頁面,實驗狀態變為FINISHED,代表AutoML實驗創建成功。
查看Trial列表。
單擊實驗名稱,進入實驗詳情頁面,在Trial列表頁簽查看該實驗下的Trial詳情。
您也可以在模型開發與訓練>分布式訓練(DLC)頁面查看該實驗對應的訓練詳情。
步驟六:查看超參數調優結果
您可以通過執行命令的方式,獲取實驗詳情、獲取Trail日志或停止實驗等。參數說明請參見下表。
參數 | 描述 |
<YOUR_WORKSPACE_ID> | 需要替換為當前DSW實例所在工作空間的ID。詳情請參見查看工作空間詳情。 |
<YOUR_EXP_ID> | 需要替換為已創建的實驗的ID,請前往實驗詳情頁面的基本信息頁簽查看。 |
<YOUR_TRIAL_ID> | 需要替換為對應的Trail的ID,請前往實驗詳情頁面的Trial列表頁簽查看。 |
獲取實驗列表
automl list hpo --workspace_id <YOUR_WORKSPACE_ID>
獲取指定實驗狀態
automl info <YOUR_EXP_ID>
獲取實驗日志
執行如下命令,日志將被存入對應文件。
automl log <YOUR_EXP_ID>
獲取Trial日志
執行如下命令,日志將被存入對應文件。
automl log <YOUR_EXP_ID> --trial-id <YOUR_TRIAL_ID>
停止實驗
automl kill <YOUR_EXP_ID>
停止Trial
automl kill nu4jqyk --trial-id <YOUR_TRIAL_ID>
常見問題
執行automl config報錯如下,應如何解決?
報錯信息
解決方法
執行如下命令,查看是否存在automl_client文件夾。如果不存在,請重新安裝AutoML CMD。
ls -lh /home/pai/envs/py38_nni/lib/python3.8/site-packages | grep automl
提示Tea.exceptions.TeaException: Error: Forbidden.NoPermission code: 403,......,應如何解決?
報錯信息
Tea.exceptions.TeaException: Error: Forbidden.NoPermission code: 403, You are not authorized to do this operation. Action: paiautoml:CreateHpoExperiment
解決方法
該報錯是由于用戶在當前工作空間中無使用超參數調優的權限導致,請在工作空間詳情頁面為該賬號添加算法開發角色。具體操作,請參見管理工作空間成員。