通用開(kāi)發(fā)流程
DataWorks將不同類(lèi)型引擎任務(wù)封裝為不同節(jié)點(diǎn)，通過(guò)創(chuàng)建節(jié)點(diǎn)來(lái)生成數(shù)據(jù)開(kāi)發(fā)任務(wù)。同時(shí)，數(shù)據(jù)開(kāi)發(fā)（DataStudio）支持使用資源、函數(shù)、以及不同的邏輯處理節(jié)點(diǎn)開(kāi)發(fā)復(fù)雜任務(wù)。本文將為您介紹數(shù)據(jù)開(kāi)發(fā)任務(wù)的通用開(kāi)發(fā)流程。
前提條件
已綁定所需數(shù)據(jù)源。詳情請(qǐng)參見(jiàn)開(kāi)發(fā)前準(zhǔn)備：綁定數(shù)據(jù)源或集群。
已擁有開(kāi)發(fā)角色權(quán)限。授權(quán)詳情請(qǐng)參見(jiàn)添加空間成員并管理成員角色權(quán)限。
進(jìn)入數(shù)據(jù)開(kāi)發(fā)
登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開(kāi)發(fā)。
進(jìn)入數(shù)據(jù)開(kāi)發(fā)后，您可根據(jù)下文流程創(chuàng)建所需任務(wù)。
開(kāi)發(fā)流程
數(shù)據(jù)開(kāi)發(fā)任務(wù)的通用開(kāi)發(fā)流程如下。
步驟 | 描述 | 相關(guān)文檔 |
步驟一：新建業(yè)務(wù)流程 | DataWorks數(shù)據(jù)開(kāi)發(fā)基于業(yè)務(wù)流程組織與開(kāi)發(fā)代碼，您需先新建業(yè)務(wù)流程，才可進(jìn)行后續(xù)的開(kāi)發(fā)工作。 | |
步驟二：新建數(shù)據(jù)表 | DataWorks支持使用可視化方式創(chuàng)建表，并以目錄結(jié)構(gòu)在界面展示。同時(shí)，支持對(duì)創(chuàng)建的表執(zhí)行相關(guān)管理操作。 進(jìn)行數(shù)據(jù)開(kāi)發(fā)前，您需先在引擎創(chuàng)建用于存放原始數(shù)據(jù)的表、接收數(shù)據(jù)清洗結(jié)果的表。具體創(chuàng)建哪種類(lèi)型的表，請(qǐng)以實(shí)際使用為準(zhǔn)。 | 創(chuàng)建及使用表： |
步驟三：新建并上傳資源（可選） | DataWorks支持將文本文件、JAR壓縮包等，作為不同類(lèi)型的資源上傳至指定計(jì)算引擎，在開(kāi)發(fā)過(guò)程中讀取使用。若開(kāi)發(fā)過(guò)程需使用資源，您可通過(guò)DataWorks可視化方式上傳資源，并進(jìn)行后續(xù)資源管理操作。 說(shuō)明 在DataWorks中支持新建資源的引擎，以及支持的資源類(lèi)型，請(qǐng)以實(shí)際使用界面為準(zhǔn)。 | |
步驟四：新建調(diào)度節(jié)點(diǎn) | DataWorks基于節(jié)點(diǎn)進(jìn)行任務(wù)開(kāi)發(fā)，不同類(lèi)型的引擎任務(wù)在DataWorks上被封裝為不同類(lèi)型的節(jié)點(diǎn)。您可根據(jù)業(yè)務(wù)需要，選擇合適的節(jié)點(diǎn)開(kāi)發(fā)引擎任務(wù)。 同時(shí)，支持便捷的節(jié)點(diǎn)管理操作。例如，使用節(jié)點(diǎn)組批量克隆節(jié)點(diǎn)；通過(guò)回收站快速恢復(fù)已刪除節(jié)點(diǎn)。 | DataWorks支持如下多類(lèi)引擎： 各類(lèi)引擎的不同任務(wù)可選用不同類(lèi)型的節(jié)點(diǎn)，各引擎的節(jié)點(diǎn)詳細(xì)列表請(qǐng)參見(jiàn)DataWorks節(jié)點(diǎn)合集。 節(jié)點(diǎn)管理操作請(qǐng)參見(jiàn)： |
步驟五：節(jié)點(diǎn)引用資源（可選） | 在DataWorks中使用資源，需先將資源加載至節(jié)點(diǎn)的運(yùn)行環(huán)境，加載后才可在節(jié)點(diǎn)中使用。 | |
步驟六：注冊(cè)函數(shù)（可選） | 若開(kāi)發(fā)過(guò)程需使用函數(shù)，您可通過(guò)DataWorks可視化方式注冊(cè)函數(shù)。注冊(cè)函數(shù)前，請(qǐng)先將注冊(cè)函數(shù)需使用的資源上傳至DataWorks。 說(shuō)明 在DataWorks中支持注冊(cè)函數(shù)的引擎，請(qǐng)以實(shí)際使用界面為準(zhǔn)。 | |
步驟七：編輯節(jié)點(diǎn)代碼 | 根據(jù)節(jié)點(diǎn)類(lèi)型，在節(jié)點(diǎn)編輯頁(yè)面通過(guò)對(duì)應(yīng)引擎與數(shù)據(jù)庫(kù)語(yǔ)法編寫(xiě)業(yè)務(wù)代碼。不同節(jié)點(diǎn)所使用的語(yǔ)法可能存在差異，具體請(qǐng)以實(shí)際使用為準(zhǔn)。 說(shuō)明 代碼編輯完成后，請(qǐng)盡快保存（ | DataWorks支持的節(jié)點(diǎn)列表詳情請(qǐng)參見(jiàn)DataWorks節(jié)點(diǎn)合集。 常用引擎的使用說(shuō)明： |
），避免代碼丟失。后續(xù)：調(diào)試代碼及配置調(diào)度
任務(wù)代碼開(kāi)發(fā)完成后，您可根據(jù)需要執(zhí)行如下操作：
調(diào)試代碼：根據(jù)業(yè)務(wù)需求調(diào)試運(yùn)行單個(gè)任務(wù)，或調(diào)試運(yùn)行整個(gè)業(yè)務(wù)流程，并在調(diào)試完成后查看運(yùn)行結(jié)果，詳情請(qǐng)參見(jiàn)任務(wù)調(diào)試流程。
配置調(diào)度：進(jìn)行節(jié)點(diǎn)的調(diào)度配置，后續(xù)節(jié)點(diǎn)將按照該配置周期性調(diào)度執(zhí)行。詳情請(qǐng)參見(jiàn)任務(wù)調(diào)度配置。
提交發(fā)布任務(wù)：任務(wù)開(kāi)發(fā)完成后，需提交至對(duì)應(yīng)環(huán)境調(diào)度執(zhí)行。如果您使用的是標(biāo)準(zhǔn)模式的工作空間，提交成功后，需單擊右上方的發(fā)布，發(fā)布任務(wù)，操作詳情請(qǐng)參見(jiàn)發(fā)布任務(wù)。
運(yùn)維任務(wù)：任務(wù)發(fā)布完成后將默認(rèn)展示在生產(chǎn)環(huán)境運(yùn)維中心，您可前往生產(chǎn)環(huán)境運(yùn)維中心查看生產(chǎn)環(huán)境任務(wù)的運(yùn)行情況，并對(duì)生產(chǎn)任務(wù)執(zhí)行相關(guān)運(yùn)維操作。詳情請(qǐng)參見(jiàn)運(yùn)維中心概述。