在DataWorks中,CDH Impala節點可以編寫并執行Impala SQL腳本。與CDH Hive相比,CDH Impala節點為您提供了更快速的查詢性能。本文為您介紹如何創建與使用CDH Impala節點。
使用限制
支持Serverless資源組(推薦)或舊版獨享調度資源組運行該類型任務。
步驟一:創建CDH Impala節點
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
右鍵單擊某個業務流程,選擇
。說明鼠標懸停至頂部新增按鈕,根據界面提示選擇創建CDH節點。
在新建節點彈窗中,配置節點的名稱,完成后單擊確認,完成節點創建,后續您可在創建的節點中進行對應任務的開發與配置操作。
步驟二:開發Impala任務
您可以雙擊已創建的節點,進入任務開發頁面,進行以下任務開發操作。
(可選)選擇CDH集群實例
如果您的工作空間注冊了多個CDH集群,您可以在頁面頂部選擇合適的集群。如果僅綁定一個CDH集群,則無需選擇。
開發SQL代碼:簡單示例
在SQL編輯區域輸入任務代碼,示例如下。
show tables;
select * from userinfo ;
開發SQL代碼:使用調度參數
DataWorks提供調度參數,可實現調度場景下代碼動態入參,您可在節點中通過${變量名}
的方式定義代碼中的變量,并在調度配置>參數處,為該變量賦值。調度參數支持的格式,詳情請參見調度參數支持的格式。
select '${var}'; --可以結合調度參數使用。
步驟三:配置任務調度
如果您需要周期性執行創建的節點任務,可以單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度信息:
步驟四:調試代碼任務
(可選)選擇運行資源組、賦值自定義參數取值。
在工具欄單擊圖標,在參數對話框選擇已調試運行需要使用的資源組。
如果您的任務代碼中有使用調度參數變量,可在此處為變量賦值,用于調試。參數賦值邏輯詳情請參見運行,高級運行和開發環境冒煙測試賦值邏輯有什么區別。
保存并運行SQL語句。
在工具欄,單擊圖標,保存編寫的SQL語句,單擊圖標,運行創建的SQL任務。
(可選)冒煙測試。
如果您希望在開發環境進行冒煙測試,可在執行節點提交,或節點提交后執行,冒煙測試,操作詳情請參見執行冒煙測試。