日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關(guān)鍵字查找
首頁 大數(shù)據(jù)開發(fā)治理平臺 DataWorks 操作指南 數(shù)據(jù)開發(fā) 數(shù)據(jù)開發(fā)（DataStudio） 節(jié)點(diǎn)開發(fā) CDH 創(chuàng)建CDH Hive節(jié)點(diǎn)

創(chuàng)建CDH Hive節(jié)點(diǎn)

更新時間：
產(chǎn)品詳情
我的收藏

如果您已部署CDH集群并希望借助DataWorks執(zhí)行Hive任務(wù)（例如，數(shù)據(jù)查詢作業(yè)或處理批量數(shù)據(jù)），可以使用CDH Hive節(jié)點(diǎn)。本文為您介紹如何創(chuàng)建CDH Hive節(jié)點(diǎn)。

前提條件

  • 數(shù)據(jù)開發(fā)（DataStudio）中已創(chuàng)建業(yè)務(wù)流程。

    數(shù)據(jù)開發(fā)（DataStudio）基于業(yè)務(wù)流程對不同開發(fā)引擎進(jìn)行具體開發(fā)操作，所以您創(chuàng)建節(jié)點(diǎn)前需要先新建業(yè)務(wù)流程，操作詳情請參見創(chuàng)建業(yè)務(wù)流程。

  • 已創(chuàng)建阿里云CDH集群，并注冊CDH集群至DataWorks。

    創(chuàng)建CDH相關(guān)節(jié)點(diǎn)并開發(fā)CDH任務(wù)前，您需要先將CDH集群注冊至DataWorks工作空間，操作詳情請參見注冊CDH集群至DataWorks。

  • （可選，RAM賬號需要）進(jìn)行任務(wù)開發(fā)的RAM賬號已被添加至對應(yīng)工作空間中，并具有開發(fā)或空間管理員（權(quán)限較大，謹(jǐn)慎添加）角色權(quán)限，添加成員的操作詳情請參見為工作空間添加空間成員。

  • 已購買Serverless資源組并完成資源組配置，包括綁定工作空間、網(wǎng)絡(luò)配置等，詳情請參見新增和使用Serverless資源組。

使用限制

支持Serverless資源組（推薦）或舊版獨(dú)享調(diào)度資源組運(yùn)行該類型任務(wù)。

步驟一：創(chuàng)建CDH Hive節(jié)點(diǎn)

  1. 進(jìn)入數(shù)據(jù)開發(fā)頁面。

    登錄DataWorks控制臺，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)開發(fā)與治理 > 數(shù)據(jù)開發(fā)，在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。

  2. 右鍵單擊某個業(yè)務(wù)流程，選擇新建節(jié)點(diǎn) > CDH > CDH Hive。

    說明

    鼠標(biāo)懸停至頂部新增按鈕，根據(jù)界面提示選擇創(chuàng)建CDH節(jié)點(diǎn)。

  3. 在新建節(jié)點(diǎn)彈窗中，配置節(jié)點(diǎn)的名稱，完成后單擊確認(rèn) ，完成節(jié)點(diǎn)創(chuàng)建，后續(xù)您可在創(chuàng)建的節(jié)點(diǎn)中進(jìn)行對應(yīng)任務(wù)的開發(fā)與配置操作。

步驟二：開發(fā)Hive任務(wù)

您可以雙擊已創(chuàng)建的節(jié)點(diǎn)，進(jìn)入任務(wù)開發(fā)頁面，進(jìn)行以下任務(wù)開發(fā)操作。

（可選）選擇CDH集群實(shí)例

如果您的工作空間注冊了多個CDH集群，您可以在頁面頂部選擇合適的集群。如果僅綁定一個CDH集群，則無需選擇。image.png

開發(fā)SQL代碼：簡單示例

在SQL編輯區(qū)域輸入任務(wù)代碼，示例如下。

show tables;

select * from userinfo ;

開發(fā)SQL代碼：使用調(diào)度參數(shù)

DataWorks提供調(diào)度參數(shù)，可實(shí)現(xiàn)調(diào)度場景下代碼動態(tài)入?yún)ⅲ稍诠?jié)點(diǎn)中通過${變量名}的方式定義代碼中的變量，并在調(diào)度配置>參數(shù)處，為該變量賦值。調(diào)度參數(shù)支持的格式，詳情請參見調(diào)度參數(shù)支持的格式。

select '${var}'; --可以結(jié)合調(diào)度參數(shù)使用。

步驟三：配置任務(wù)調(diào)度

如果您需要周期性執(zhí)行創(chuàng)建的節(jié)點(diǎn)任務(wù)，可以單擊節(jié)點(diǎn)編輯頁面右側(cè)的調(diào)度配置，根據(jù)業(yè)務(wù)需求配置該節(jié)點(diǎn)任務(wù)的調(diào)度信息：

  • 配置任務(wù)調(diào)度的基本信息，詳情請參見配置基礎(chǔ)屬性。

  • 配置時間調(diào)度周期、重跑屬性和上下游依賴關(guān)系，詳情請參見時間屬性配置說明及配置同周期調(diào)度依賴。

    說明

    您需要設(shè)置節(jié)點(diǎn)的重跑屬性和依賴的上游節(jié)點(diǎn)，才可以提交節(jié)點(diǎn)。

  • 配置資源屬性，詳情請參見配置資源屬性。訪問公網(wǎng)或VPC網(wǎng)絡(luò)時，請選擇與目標(biāo)節(jié)點(diǎn)網(wǎng)絡(luò)連通的調(diào)度資源組作為周期調(diào)度任務(wù)使用的資源組。詳情請參見網(wǎng)絡(luò)連通方案。

步驟四：調(diào)試代碼任務(wù)

  1. （可選）選擇運(yùn)行資源組、賦值自定義參數(shù)取值。

  2. 保存并運(yùn)行SQL語句。

    在工具欄，單擊保存圖標(biāo)，保存編寫的SQL語句，單擊運(yùn)行圖標(biāo)，運(yùn)行創(chuàng)建的SQL任務(wù)。

  3. （可選）冒煙測試。

    如果您希望在開發(fā)環(huán)境進(jìn)行冒煙測試，可在執(zhí)行節(jié)點(diǎn)提交，或節(jié)點(diǎn)提交后執(zhí)行，冒煙測試，操作詳情請參見執(zhí)行冒煙測試。

后續(xù)步驟

  1. 提交并發(fā)布節(jié)點(diǎn)任務(wù)。

    1. 單擊工具欄中的保存圖標(biāo)，保存節(jié)點(diǎn)。

    2. 單擊工具欄中的提交圖標(biāo)，提交節(jié)點(diǎn)任務(wù)。

    3. 在提交新版本對話框中，輸入變更描述。

    4. 單擊確定。

    如果您使用的是標(biāo)準(zhǔn)模式的工作空間，任務(wù)提交成功后，需要將任務(wù)發(fā)布至生產(chǎn)環(huán)境進(jìn)行發(fā)布。請單擊頂部菜單欄左側(cè)的任務(wù)發(fā)布。具體操作請參見發(fā)布任務(wù)。

  2. 查看周期調(diào)度任務(wù)。

    1. 單擊編輯界面右上角的運(yùn)維，進(jìn)入生產(chǎn)環(huán)境運(yùn)維中心。

    2. 查看運(yùn)行的周期調(diào)度任務(wù)，詳情請參見查看并管理周期任務(wù)。

    如果您需要查看更多周期調(diào)度任務(wù)詳情，可單擊頂部菜單欄的運(yùn)維中心，詳情請參見運(yùn)維中心概述。