在DataWorks任務開發中,您可以通過創建CDH MR(MapReduce)節點處理超大規模的數據集。本文為您介紹如何在DataWorks中創建并使用CDH MR節點。
前提條件
數據開發(DataStudio)中已創建業務流程。
數據開發(DataStudio)基于業務流程對不同開發引擎進行具體開發操作,所以您創建節點前需要先新建業務流程,操作詳情請參見創建業務流程。
已創建阿里云CDH集群,并注冊CDH集群至DataWorks。
創建CDH相關節點并開發CDH任務前,您需要先將CDH集群注冊至DataWorks工作空間,操作詳情請參見注冊CDH集群至DataWorks。
(可選,RAM賬號需要)進行任務開發的RAM賬號已被添加至對應工作空間中,并具有開發或空間管理員(權限較大,謹慎添加)角色權限,添加成員的操作詳情請參見為工作空間添加空間成員。
已購買Serverless資源組并完成資源組配置,包括綁定工作空間、網絡配置等,詳情請參見新增和使用Serverless資源組。
使用限制
支持Serverless資源組(推薦)或舊版獨享調度資源組運行該類型任務。
步驟一:創建CDH MR節點
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
右鍵單擊某個業務流程,選擇
。在新建節點對話窗中,配置節點的引擎實例、路徑、名稱等信息。
單擊確認 ,完成節點創建,后續您可在創建的節點中進行對應任務的開發與配置操作。
步驟二:創建并引用CDH JAR資源
DataWorks支持您從本地先上傳資源至DataStudio,再引用資源。具體操作如下:
創建CDH JAR資源。
在對應業務流程中,右鍵單擊
,選擇 ,在新建資源對話框中點擊上傳,選擇需要上傳的文件。引用CDH JAR資源。
打開創建的CDH MR節點,停留在編輯頁面。
在
中,找到待引用的資源(示例為onaliyun_mr_wordcount-1.0-SNAPSHOT.jar
),右鍵單擊資源名稱,選擇引用資源。引用資源后,若CDH節點的代碼編輯頁面出現
##@resource_reference{""}
格式的語句,表明已成功引用代碼資源。此時,需執行下述命令運行作用。命令涉及的資源包、Bucket名稱、路徑信息等為本文示例內容,使用時,需替換為實際使用的信息。##@resource_reference{"onaliyun_mr_wordcount-1.0-SNAPSHOT.jar"} onaliyun_mr_wordcount-1.0-SNAPSHOT.jar cn.apache.hadoop.onaliyun.examples.EmrWordCount oss://onaliyun-bucket-2/cdh/datas/wordcount02/inputs oss://onaliyun-bucket-2/cdh/datas/wordcount02/outputs
說明CDH MR節點編輯代碼時不支持注釋語句。
步驟三:配置任務調度
如果您需要周期性執行創建的節點任務,可以單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度信息:
步驟四:調試代碼任務
(可選)選擇運行資源組、賦值自定義參數取值。
在工具欄單擊圖標,在參數對話框選擇已調試運行需要使用的資源組。
如果您的任務代碼中有使用調度參數變量,可在此處為變量賦值,用于調試。參數賦值邏輯詳情請參見運行,高級運行和開發環境冒煙測試賦值邏輯有什么區別。
保存并運行SQL語句。
在工具欄,單擊圖標,保存編寫的SQL語句,單擊圖標,運行創建的SQL任務。
(可選)冒煙測試。
如果您希望在開發環境進行冒煙測試,可在執行節點提交,或節點提交后執行,冒煙測試,操作詳情請參見執行冒煙測試。