您可以在DataWorks中新建Data Lake Analytics節點,構建在線ETL數據處理流程。
背景信息
Data Lake Analytics節點用于接入阿里云產品Data Lake Analytics,詳情請參見什么是Data Lake Analytics。
Data Lake Analytics節點支持Serverless資源組(推薦)或舊版獨享調度資源組執行任務。如需購買使用Serverless資源組,詳情請參見新增和使用Serverless資源組。
使用限制
支持的地域:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、中國香港、日本(東京)、新加坡、德國(法蘭克福)、英國(倫敦)、美國(硅谷)、美國(弗吉尼亞)。
操作步驟
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
鼠標懸停至圖標,單擊 。
您也可以打開相應的業務流程,右鍵單擊自定義,選擇
。在新建節點對話框中,輸入節點名稱,并選擇路徑。
單擊確認。
編輯Data Lake Analytics節點。
選擇數據源。
選擇任務要執行的目標數據源。如果下拉列表中沒有需要的數據源,請單擊右側的新建數據源,在數據源管理頁面新建,詳情請參見配置Data Lake Analytics(DLA)數據源。
編輯SQL語句。
選擇相應的數據源后,即可根據Data Lake Analytics支持的語法,編寫SQL語句。通常支持DML語句,您也可以執行DDL語句。
單擊工具欄中的圖標。
單擊工具欄中的圖標,執行SQL語句。
如果您需要修改在數據開發頁面測試時使用的任務執行資源,請單擊工具欄中的圖標,選擇相應的Serverless資源組。
說明因為訪問專有網絡環境的數據源需要使用Serverless資源組執行任務,所以此處必須選擇測試連通性成功的Serverless資源組。
單擊節點編輯區域右側的調度配置,配置節點的調度屬性,詳情請參見配置基礎屬性。
配置資源屬性時,請選擇調度資源組為已經和Data Lake Analytics網絡連通的Serverless資源組,作為周期調度時使用的資源組。
單擊工具欄中的圖標,保存節點。
單擊工具欄中的圖標。
在提交新版本對話框中,輸入變更描述。
單擊確認。
任務運維,詳情請參見周期任務基本運維操作。
保存并提交節點。
您需要設置節點的重跑屬性和依賴的上游節點,才可以提交節點。
如果您使用的是標準模式的工作空間,提交成功后,請單擊右上方的發布。具體操作請參見發布任務。