人工智能平臺PAI的可視化建模Designer,用于實現(xiàn)端到端的機器學習開發(fā)流程的可視化建模工具。DataWorks為您提供PAI Designer節(jié)點,方便您通過該算法節(jié)點載入Designer工作流,通過調度配置實現(xiàn)Designer工作流的周期性任務調度。
前提條件
授權DataWorks可訪問人工智能平臺PAI。
您可進入授權界面進行一鍵授權,權限策略詳情請參見AliyunServiceRoleForDataWorksEngine。僅阿里云主賬號或擁有AliyunDataWorksFullAccess權限策略的RAM用戶可執(zhí)行一鍵授權操作。
已創(chuàng)建業(yè)務流程。
數據開發(fā)(DataStudio)基于業(yè)務流程對不同開發(fā)引擎進行具體開發(fā)操作,因此,創(chuàng)建節(jié)點前需先新建業(yè)務流程,操作詳情請參見創(chuàng)建業(yè)務流程。
步驟一:創(chuàng)建PAI Designer節(jié)點
進入數據開發(fā)頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發(fā)。
右鍵單擊目標業(yè)務流程,選擇
。在新建節(jié)點對話框中輸入節(jié)點名稱,并選擇路徑,單擊確認,完成節(jié)點創(chuàng)建。后續(xù)您可在節(jié)點中進行對應工作流任務的開發(fā)與配置。
步驟二:開發(fā)PAI Designer節(jié)點任務簡單示例
開發(fā)任務:編寫Designer工作流
編輯PAI Designer節(jié)點任務時,如選擇加載已有工作流,則需提前在PAI中創(chuàng)建Designer工作流,通過名稱搜索,載入已經創(chuàng)建好的工作流。在PAI Designer節(jié)點編輯頁面,您可以通過如下方式創(chuàng)建Designer工作流:
創(chuàng)建空白工作流。
可以根據業(yè)務需求,創(chuàng)建空白工作流,通過添加組件,拖拽組件的方式構建模型,操作詳情請參見創(chuàng)建工作流:空白工作流。
創(chuàng)建預置模板。
PAI Designer提供了預置模板,便于您快速創(chuàng)建與模板類似的工作流,您可以在此基礎上對組件或組件的配置進行修改,來構建模型,操作詳情請參見創(chuàng)建工作流:預置模板。
創(chuàng)建自定義模板。
可以將使用穩(wěn)定的工作流保存成自定義模板,便于您工作空間內的其他成員進行使用和編輯,操作詳情請參見創(chuàng)建工作流:自定義模板。
若您想了解如何創(chuàng)建預置模板進行數據可視化建模,您可以參考DataWorks離線調度Designer工作流案例,了解預設模板的使用及任務調度流程 。
若您想了解如何創(chuàng)建自定義工作流進行數據可視化建模,您可以參考創(chuàng)建自定義工作流案例,了解自定義工作流的創(chuàng)建過程。
開發(fā)SQL代碼:使用調度參數
DataWorks提供的調度參數可實現(xiàn)周期調度場景下代碼動態(tài)入參,您可在節(jié)點任務中通過${變量名}
的方式定義代碼中的變量,并在調度配置>參數處,為該變量賦值。調度參數支持的格式,詳情請參見調度參數支持的格式。
調度參數代碼示例如下。
--command='echo '\''${變量名}'\'';' \ --可結合調度參數使用。
步驟三:配置任務調度
如您需周期性執(zhí)行創(chuàng)建的節(jié)點任務,可單擊節(jié)點編輯頁面右側的調度配置,根據業(yè)務需求配置該節(jié)點任務的調度信息。配置詳情請參見任務調度屬性配置概述。
您需設置節(jié)點的重跑屬性和依賴的上游節(jié)點,才可提交節(jié)點。
步驟四:調試任務代碼
您可根據需要執(zhí)行如下調試操作,查看任務是否符合預期。
(可選)選擇運行資源組、賦值自定義參數取值。
單擊工具欄的圖標,在參數對話框選擇調試運行需使用的調度資源組。
如您的任務代碼中有使用調度參數變量,可在此處為變量賦值,用于調試。參數賦值邏輯詳情請參見運行,高級運行和開發(fā)環(huán)境冒煙測試賦值邏輯有什么區(qū)別。
保存并運行SQL語句。
單擊工具欄的圖標,保存編寫的SQL語句,單擊圖標,運行創(chuàng)建的SQL任務。
(可選)冒煙測試。
如您希望在開發(fā)環(huán)境進行冒煙測試,查看調度節(jié)點任務的執(zhí)行是否符合預期,則可在節(jié)點提交時,或節(jié)點提交后執(zhí)行冒煙測試,操作詳情請參見執(zhí)行冒煙測試。
步驟五:提交發(fā)布任務
節(jié)點任務配置完成后,需執(zhí)行提交發(fā)布操作,提交發(fā)布后節(jié)點會根據調度配置內容進行周期性運行。
單擊工具欄中的圖標,保存節(jié)點。
單擊工具欄中的圖標,提交節(jié)點任務。
提交時需在提交新版本對話框中輸入變更描述,并根據需要選擇是否在節(jié)點提交后執(zhí)行代碼評審。
說明您需設置節(jié)點的重跑屬性和依賴的上游節(jié)點,才可提交節(jié)點。
代碼評審可對任務的代碼質量進行把控,防止由于任務代碼有誤,未經審核直接發(fā)布上線后出現(xiàn)任務報錯。如進行代碼評審,則提交的節(jié)點代碼必須通過評審人員的審核才可發(fā)布,詳情請參見代碼評審。
如您使用的是標準模式的工作空間,任務提交成功后,需單擊節(jié)點編輯頁面右上方的發(fā)布,將該任務發(fā)布至生產環(huán)境執(zhí)行,操作請參見發(fā)布任務。
后續(xù)步驟
任務提交發(fā)布后,會基于節(jié)點的配置周期性運行,您可單擊編輯界面右上角的運維,進入運維中心查看周期任務的調度運行情況。詳情請參見查看并管理周期任務。