本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
任務定義與手動任務定義有所區別,任務定義是工作流定義中的一個任務節點,而手動任務定義能夠獨立創建并執行。本文為您介紹如何創建并管理手動任務。
使用說明
手動任務能夠獨立創建并支持手動運行。
在工作流定義中,可以在任務節點中關聯已經創建的手動任務。
創建并運行手動任務
創建的手動任務,支持在工作流定義中進行關聯,具體操作請參見管理工作流定義。
進入項目管理頁面。
使用阿里云賬號(主賬號)或RAM用戶登錄E-MapReduce控制臺。
在左側導航欄,選擇EMR Workbench > Workflow。
在Workflow頁面,單擊目標工作空間操作列的控制臺。
在左側導航欄,選擇數據開發 > 手動任務定義。
在手動任務定義頁面,單擊創建手動任務。
在彈出的對話框中,配置相關的參數,單擊確定。
本文以SHELL任務類型為例,其他任務類型詳情請參見任務類型。
參數
說明
任務名稱
任務的名稱。
任務類型
選擇待創建的任務類型。
描述
當前節點的功能描述。
任務提交節點
調度資源組節點(默認):任務在Workflow的調度資源組節點提交。
EMR集群worker節點(提交到Yarn執行):任務在EMR集群的Worker節點提交,占用一個YARN Container。
警告該模式會直接影響EMR集群的文件系統或運行環境,請謹慎操作。
使用該模式,您還可以選擇配置以下參數:
調度隊列:指定任務提交的YARN隊列。
任務執行容器內存(MB):指定任務執行容器的內存。默認值為1024。
虛擬核數:指定任務執行容器的虛擬核數(vCores)。默認值為1。
優先級:指定任務執行容器的優先級(0-100)。默認值為0,數值越大,優先級越高。
執行用戶:默認提交任務的用戶為dolphinscheduler。標準集群(非高安全集群),如果需要設置執行用戶,請確保YARN服務包含如下配置項:
yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false
腳本
您自定義的Shell程序。
資源
任務執行時所需的資源文件。如果其他參數中引用了資源文件,需要選擇在資源中心的文件管理頁面,創建或者上傳的文件。
自定義參數
任務自定義參數,會替換腳本中
${變量}
的內容。更多參數配置信息,請參見參數說明。在手動任務定義頁面,單擊目標任務操作列的運行。
在運行手動任務對話框中,選擇已有的調度資源組,系統會根據您選定的調度資源組自動匹配執行集群,單擊確定。
手動任務定義操作
在手動任務定義頁面,您可以進行以下操作。
操作 | 說明 |
編輯 | 只能編輯未被上線狀態的工作流關聯的手動任務。 |
運行 | 運行當前手動任務。 |
刪除 | 只能刪除未被上線狀態的工作流關聯的手動任務。 |
手動任務實例操作
在手動任務實例頁面,您可以進行以下操作。
操作 | 說明 |
停止 | 對正在運行的手動任務實例進行停止操作。 |
查看日志 | 查看日志信息。 |
相關文檔
如果需要創建調度資源組,詳情請參見管理調度資源組。