快速使用EMR Workflow
EMR Workflow是一個(gè)全托管的工作流和任務(wù)調(diào)度服務(wù),100%兼容開(kāi)源Apache DolphinScheduler。它提供了易于使用的調(diào)度服務(wù),您可以通過(guò)可視化的操作界面輕松地管理工作流和任務(wù),高效構(gòu)建數(shù)據(jù)倉(cāng)庫(kù),并為生產(chǎn)任務(wù)的穩(wěn)定運(yùn)行提供保障。本文以HIVECLI任務(wù)類型為例,為您介紹如何快速使用EMR Workflow。
前提條件
已完成系統(tǒng)角色授權(quán),詳情請(qǐng)參見(jiàn)EMR Workflow角色授權(quán)。
已在EMR on ECS頁(yè)面創(chuàng)建集群或集群模板,詳情請(qǐng)參見(jiàn)創(chuàng)建集群或創(chuàng)建集群模板。
支持綁定的集群類型為DataLake、Hadoop和Custom。
步驟一:綁定集群和關(guān)聯(lián)工作空間
使用阿里云賬號(hào)(主賬號(hào))或RAM用戶登錄E-MapReduce控制臺(tái)。
在左側(cè)導(dǎo)航欄,選擇EMR Workbench > Workflow。
在Workflow頁(yè)面,單擊調(diào)度資源組。
綁定集群或集群模板。
在調(diào)度資源組頁(yè)面,單擊綁定集群。
在綁定EMR集群/集群模板對(duì)話框中,單擊綁定,綁定EMR集群或集群模板。
在彈出的對(duì)話框中,選擇交換機(jī)和安全組,單擊確定。
說(shuō)明綁定集群大約需要5~10分鐘,請(qǐng)耐心等待。
(可選)關(guān)聯(lián)工作空間。
說(shuō)明首次開(kāi)通EMR Workflow服務(wù)時(shí),將免費(fèi)為您提供一個(gè)默認(rèn)調(diào)度資源組。默認(rèn)資源組開(kāi)通時(shí)已自動(dòng)關(guān)聯(lián)至default工作空間。如果默認(rèn)調(diào)度資源組不能滿足您的需求,您也可以選擇購(gòu)買付費(fèi)調(diào)度資源組。付費(fèi)調(diào)度資源組的規(guī)格指標(biāo)及計(jì)費(fèi)規(guī)格詳情,請(qǐng)參見(jiàn)調(diào)度資源組計(jì)費(fèi)說(shuō)明。付費(fèi)調(diào)度資源組需要按照以下步驟關(guān)聯(lián)工作空間。
在調(diào)度資源組頁(yè)面,單擊關(guān)聯(lián)工作空間。
在關(guān)聯(lián)工作空間對(duì)話框中,單擊對(duì)應(yīng)工作空間操作列的關(guān)聯(lián)。
在彈出的對(duì)話框中,單擊確定,即可將調(diào)度資源組綁定至此工作空間。
步驟二:新建項(xiàng)目
在Workflow頁(yè)面,單擊工作空間。
單擊工作空間操作列的控制臺(tái)。
在項(xiàng)目管理頁(yè)面,單擊創(chuàng)建項(xiàng)目。
在彈出的對(duì)話框中,輸入項(xiàng)目名稱,單擊確定。
步驟三:創(chuàng)建工作流
在項(xiàng)目管理頁(yè)面,單擊新建項(xiàng)目的名稱。
在左側(cè)導(dǎo)航欄,選擇
。在工作流定義頁(yè)面,單擊創(chuàng)建工作流。
在創(chuàng)建工作流頁(yè)面,拖拽SHELL節(jié)點(diǎn)塊到畫布中。
本文以SHELL任務(wù)類型為例。任務(wù)類型的詳細(xì)信息,請(qǐng)參見(jiàn)任務(wù)類型。
在彈出的對(duì)話框中,配置相關(guān)參數(shù),單擊確定。
設(shè)置示例如下表所示,其他參數(shù)保持默認(rèn)值即可。更多參數(shù)的說(shuō)明,請(qǐng)參見(jiàn)SHELL。
參數(shù)
說(shuō)明
關(guān)聯(lián)手動(dòng)任務(wù)
默認(rèn)關(guān)閉,如果您已有手動(dòng)任務(wù),則可以打開(kāi)該開(kāi)關(guān),具體操作可以參見(jiàn)手動(dòng)任務(wù)快速入門。
節(jié)點(diǎn)名稱
您自定義的節(jié)點(diǎn)名稱。例如shell。
腳本
您自定義的Shell程序。
保存工作流。
單擊畫布右上方的保存。
在彈出的對(duì)話中,輸入工作流名稱,單擊確定。
步驟四:運(yùn)行工作流
在工作流定義頁(yè)面,單擊圖標(biāo)(上線)。
單擊圖標(biāo)(運(yùn)行)。
在彈出的對(duì)話框中,在調(diào)度資源組下拉列表中選擇調(diào)度資源組,單擊確定。
步驟五:查看任務(wù)實(shí)例日志
在左側(cè)導(dǎo)航欄,選擇實(shí)例運(yùn)維>工作流實(shí)例,可以查看實(shí)例的運(yùn)行狀況。
在左側(cè)導(dǎo)航欄,選擇實(shí)例運(yùn)維>任務(wù)實(shí)例。
在任務(wù)實(shí)例頁(yè)面,單擊目標(biāo)任務(wù)名稱操作列的圖標(biāo)(查看日志),可以查看任務(wù)節(jié)點(diǎn)的運(yùn)行日志。
(可選)步驟六:下線工作流
在工作流定義頁(yè)面,單擊目標(biāo)工作流操作列的(下線)。
常見(jiàn)問(wèn)題
報(bào)錯(cuò)“The bucket you access does not belong to you”問(wèn)題
相關(guān)文檔
EMR Workflow的更多介紹,請(qǐng)參見(jiàn)什么是EMR Workflow。
更多任務(wù)類型的詳細(xì)信息,請(qǐng)參見(jiàn)任務(wù)類型。
工作流相關(guān)的操作,請(qǐng)參見(jiàn)管理工作流。