DataWorks節(jié)點(diǎn)合集
DataWorks的數(shù)據(jù)開發(fā)（DataStudio）模塊為您提供多種類型的節(jié)點(diǎn)，包括用于數(shù)據(jù)同步的數(shù)據(jù)集成節(jié)點(diǎn)，用于數(shù)據(jù)清洗的引擎計(jì)算節(jié)點(diǎn)（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可對(duì)引擎計(jì)算節(jié)點(diǎn)進(jìn)行復(fù)雜邏輯處理的通用節(jié)點(diǎn)（例如，可統(tǒng)籌管理多個(gè)節(jié)點(diǎn)的虛擬節(jié)點(diǎn)、可循環(huán)執(zhí)行代碼的do-while節(jié)點(diǎn)），多種節(jié)點(diǎn)配合使用，滿足您不同的數(shù)據(jù)處理需求。
數(shù)據(jù)開發(fā)（DataStudio）支持的節(jié)點(diǎn)合集
數(shù)據(jù)開發(fā)支持的節(jié)點(diǎn)類型匯總?cè)缦隆?/p>
類型 | 描述 |
DataWorks數(shù)據(jù)集成支持復(fù)雜網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)同步，并提供用于離線（批量）數(shù)據(jù)周期性同步的離線同步節(jié)點(diǎn)，與用于單表或整庫增量數(shù)據(jù)實(shí)時(shí)同步的實(shí)時(shí)同步節(jié)點(diǎn)。該節(jié)點(diǎn)可在數(shù)據(jù)開發(fā)（DataStudio）界面直接創(chuàng)建。 | |
DataWorks將計(jì)算引擎能力進(jìn)行封裝，您可基于引擎節(jié)點(diǎn)進(jìn)行數(shù)據(jù)開發(fā)，無需接觸復(fù)雜的引擎命令行，便可在DataWorks實(shí)現(xiàn)各類任務(wù)的周期性調(diào)度。 目前支持MaxCompute、Hologres、E-MapReduce、AnalyticDB For PostgreSQL、AnalyticDB For MySQL、MySQL、ClickHouse、CDH、算法等多類計(jì)算引擎的多種節(jié)點(diǎn)。 | |
DataWorks提供的通用類型節(jié)點(diǎn)可結(jié)合引擎計(jì)算節(jié)點(diǎn)進(jìn)行復(fù)雜邏輯處理。例如：用于循環(huán)執(zhí)行代碼的do-while節(jié)點(diǎn)，與遍歷、判斷上游賦值結(jié)果的for-each節(jié)點(diǎn)、分支節(jié)點(diǎn)等。 |
本文為您呈現(xiàn)了節(jié)點(diǎn)類型對(duì)應(yīng)的節(jié)點(diǎn)編碼（即節(jié)點(diǎn)Code），通過調(diào)用API執(zhí)行節(jié)點(diǎn)相關(guān)操作（例如，獲取節(jié)點(diǎn)信息）時(shí)會(huì)使用該編碼。您也可調(diào)用ListFileType接口，查詢節(jié)點(diǎn)編碼。
數(shù)據(jù)集成同步類節(jié)點(diǎn)
用于數(shù)據(jù)同步任務(wù)使用，數(shù)據(jù)集成類型節(jié)點(diǎn)介紹如下。
數(shù)據(jù)集成節(jié)點(diǎn) | 使用介紹 | 節(jié)點(diǎn)編碼 |
用于離線（批量）數(shù)據(jù)周期性同步場(chǎng)景，并且支持復(fù)雜場(chǎng)景下多種異構(gòu)數(shù)據(jù)源間數(shù)據(jù)同步。 離線同步支持的數(shù)據(jù)源詳情，請(qǐng)參見支持的數(shù)據(jù)源及同步方案。 | 23 | |
用于增量數(shù)據(jù)實(shí)時(shí)同步場(chǎng)景。實(shí)時(shí)同步包括實(shí)時(shí)讀取、轉(zhuǎn)換和寫入三種基礎(chǔ)插件，各插件之間通過內(nèi)部定義的中間數(shù)據(jù)格式進(jìn)行交互。 實(shí)時(shí)同步支持的數(shù)據(jù)源詳情，請(qǐng)參見支持的數(shù)據(jù)源及同步方案。 | 900 |
除在數(shù)據(jù)開發(fā)（DataStudio）界面直接創(chuàng)建的節(jié)點(diǎn)外，數(shù)據(jù)集成主站還支持多種類型同步方案。例如，全增量數(shù)據(jù)實(shí)時(shí)同步，整庫離線同步等，詳情請(qǐng)參見數(shù)據(jù)集成側(cè)同步任務(wù)能力說明。數(shù)據(jù)集成主站的任務(wù)，通常Code為24。
引擎計(jì)算類節(jié)點(diǎn)
您可在具體業(yè)務(wù)流程，選擇在某引擎下新建對(duì)應(yīng)類型的引擎節(jié)點(diǎn)，基于該節(jié)點(diǎn)進(jìn)行數(shù)據(jù)開發(fā)，并將引擎代碼下發(fā)至對(duì)應(yīng)的數(shù)據(jù)清洗引擎上執(zhí)行。引擎計(jì)算類型節(jié)點(diǎn)介紹如下。
請(qǐng)先為DataWorks工作空間開通對(duì)應(yīng)服務(wù)并創(chuàng)建相應(yīng)引擎數(shù)據(jù)源，DataWorks需基于創(chuàng)建的數(shù)據(jù)源訪問對(duì)應(yīng)引擎數(shù)據(jù)并執(zhí)行相關(guān)開發(fā)操作。創(chuàng)建數(shù)據(jù)源，請(qǐng)參見創(chuàng)建并管理數(shù)據(jù)源。
DataWorks集成的引擎 | DataWorks對(duì)引擎能力的封裝 | 節(jié)點(diǎn)編碼 |
MaxCompute | 10 | |
225 | ||
221 | ||
1221 | ||
24 | ||
11 | ||
1010 | ||
E-MapReduce | 227 | |
230 | ||
229 | ||
228 | ||
257 | ||
259 | ||
260 | ||
264 | ||
268 | ||
267 | ||
CDH | 270 | |
271 | ||
273 | ||
278 | ||
279 | ||
- | ||
AnalyticDB For PostgreSQL | - | |
AnalyticDB For MySQL | - | |
Hologres | 1093 | |
1094 | ||
- | ||
ClickHouse | - | |
StarRocks | 10004 | |
算法（機(jī)器學(xué)習(xí)） | - | |
- | ||
- | ||
數(shù)據(jù)庫 | 1000039 | |
10001 | ||
10002 | ||
10003 | ||
10005 | ||
10006 | ||
10007 | ||
10008 | ||
10009 | ||
10010 | ||
10011 | ||
- | ||
10013 | ||
10014 | ||
10015 | ||
10016 | ||
10017 | ||
- | ||
其他 | 1000023 |
通用類節(jié)點(diǎn)
引擎節(jié)點(diǎn)可結(jié)合通用節(jié)點(diǎn)進(jìn)行復(fù)雜邏輯處理。在具體業(yè)務(wù)流程下，您可在通用節(jié)點(diǎn)分組下新建所需節(jié)點(diǎn)，結(jié)合引擎節(jié)點(diǎn)實(shí)現(xiàn)復(fù)雜邏輯處理。不同節(jié)點(diǎn)的使用場(chǎng)景及相關(guān)介紹如下。
業(yè)務(wù)場(chǎng)景 | 節(jié)點(diǎn)類型 | 節(jié)點(diǎn)編碼 | 使用說明 |
業(yè)務(wù)管理 | 99 | 虛擬節(jié)點(diǎn)屬于控制類型節(jié)點(diǎn)，它是不產(chǎn)生任何數(shù)據(jù)的空跑節(jié)點(diǎn)，通常作為業(yè)務(wù)流程統(tǒng)籌節(jié)點(diǎn)的根節(jié)點(diǎn)，方便您管理節(jié)點(diǎn)及業(yè)務(wù)流程。 | |
事件觸發(fā) | 1114 | 如果您希望其他調(diào)度系統(tǒng)的任務(wù)完成后觸發(fā)DataWorks上的任務(wù)運(yùn)行，可以使用此節(jié)點(diǎn)。 說明 DataWorks已不再支持新建跨租戶節(jié)點(diǎn)，如果您使用了跨租戶節(jié)點(diǎn)，建議更換為HTTP觸發(fā)器節(jié)點(diǎn)，該節(jié)點(diǎn)與跨租戶節(jié)點(diǎn)能力相同。 | |
239 | 通過監(jiān)控OSS對(duì)象產(chǎn)生來觸發(fā)下游節(jié)點(diǎn)執(zhí)行。 | ||
1320 | 通過監(jiān)控FTP文件產(chǎn)生來觸發(fā)下游節(jié)點(diǎn)執(zhí)行。 | ||
241 | 用于檢查目標(biāo)對(duì)象（MaxCompute分區(qū)表、FTP文件或OSS文件）是否可用，當(dāng)Check節(jié)點(diǎn)滿足檢查策略后會(huì)返回運(yùn)行成功狀態(tài)。如果某任務(wù)的運(yùn)行依賴目標(biāo)對(duì)象，您可使用Check節(jié)點(diǎn)檢查目標(biāo)對(duì)象，并設(shè)置該任務(wù)為Check節(jié)點(diǎn)的下游任務(wù)，當(dāng)Check節(jié)點(diǎn)滿足檢查策略后，便會(huì)運(yùn)行成功并觸發(fā)下游任務(wù)執(zhí)行。 | ||
1333 | 可通過配置數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則，監(jiān)控相關(guān)數(shù)據(jù)源表的數(shù)據(jù)質(zhì)量（例如，是否存在臟數(shù)據(jù)）。同時(shí)，支持您自定義調(diào)度策略，周期性執(zhí)行監(jiān)控任務(wù)進(jìn)行數(shù)據(jù)校驗(yàn)。 | ||
參數(shù)賦值與傳遞 | 1100 | 用于參數(shù)傳遞，通過自帶的output輸出將賦值節(jié)點(diǎn)最后一條查詢或輸出結(jié)果通過節(jié)點(diǎn)上下文功能傳遞到下游，實(shí)現(xiàn)參數(shù)跨節(jié)點(diǎn)傳遞。 | |
1115 | 用于上游節(jié)點(diǎn)將參數(shù)匯總并分發(fā)向下傳遞。 | ||
控制類 | 1106 | 用于遍歷賦值節(jié)點(diǎn)傳遞的結(jié)果集。 | |
1103 | 用于循環(huán)執(zhí)行部分節(jié)點(diǎn)邏輯，同時(shí)您也可結(jié)合賦值節(jié)點(diǎn)來循環(huán)輸出賦值節(jié)點(diǎn)傳遞的結(jié)果。 | ||
1101 | 用于對(duì)上游結(jié)果進(jìn)行判斷，決定不同結(jié)果走不同的分支邏輯，您可結(jié)合賦值節(jié)點(diǎn)一起使用。 | ||
1102 | 用于對(duì)上游節(jié)點(diǎn)的運(yùn)行狀態(tài)進(jìn)行歸并，解決分支節(jié)點(diǎn)下游節(jié)點(diǎn)的依賴掛載和運(yùn)行觸發(fā)問題。 | ||
其他 | 6 | Shell節(jié)點(diǎn)支持標(biāo)準(zhǔn)Shell語法，但不支持交互性語法。 | |
1330 | 用于周期性調(diào)度處理事件函數(shù)，并完成與其它類型節(jié)點(diǎn)的集成和聯(lián)合調(diào)度。 |