進入數據開發

登錄DataWorks控制臺，切換至目標地域后，單擊左側導航欄的數據開發與治理 > 數據開發，在下拉框中選擇對應工作空間后單擊進入數據開發。

操作流程

1. 步驟一：新建業務流程。

   數據開發基于業務流程組織與開發代碼，您需要先新建業務流程，才可進行后續的開發工作。

2. 步驟二：新建表。

   DataWorks支持使用可視化方式創建表，并以目錄結構方式在界面展示。數據開發前，您需先在引擎創建用于接收數據清洗結果的表。

3. 步驟三：新建節點。

   DataWorks基于節點進行任務開發，不同類型的引擎任務在DataWorks上被封裝為不同類型的節點。您可根據業務需要，選擇合適的節點進行引擎任務開發。

4. 步驟四：編輯節點。

   根據節點類型，在節點編輯頁面通過對應數據庫的語法編寫業務代碼。

5. 步驟五：定義節點調度屬性。

   用于定義該節點的調度相關屬性，周期性調度運行節點。

6. 步驟六：調試代碼。

   您可使用DataWorks提供的代碼片段快捷運行、運行、高級運行三種方式調試代碼，驗證代碼邏輯是否正確。

7. 步驟七：保存并提交節點。

   節點調試無誤后，您需要保存并提交節點。

8. 步驟八：冒煙測試。

   為保障生產任務高效運行，避免計算資源浪費。任務發布上線前，您可將任務提交至開發環境進行冒煙測試，保障任務的正確性。

9. 步驟九：發布任務。

   DataWorks僅支持自動調度發布至生產環境的任務，因此在冒煙測試無誤后，您需將任務發布至生產環境調度系統進行周期調度。

步驟一：新建業務流程

DataWorks以業務流程為中心組織數據開發，通過各類型開發節點的容器看板，將相關工具、優化及管理操作圍繞看板對象進行組織，使開發管理更加方便智能。您可根據業務需求，將同類型業務統一放置一個業務流程。

1. 進入數據開發頁面。

   登錄DataWorks控制臺，切換至目標地域后，單擊左側導航欄的數據開發與治理 > 數據開發，在下拉框中選擇對應工作空間后單擊進入數據開發。

2. 創建業務流程。

   您可使用如下兩種方式創建：

   • 方式一：鼠標懸停至圖標，單擊新建業務流程。

   • 方式二：右鍵單擊數據開發左側目錄樹的業務流程，選擇新建業務流程。

3. 配置業務流程的名稱及描述，單擊新建。

   本文示例創建名為創建第一個周期調度任務的業務流程。實際開發時，請根據您的業務進行規劃。

   說明

   更多業務流程的使用，詳情請參見創建及管理業務流程。

步驟二：新建表

DataWorks的數據開發節點會對您的源數據進行清洗加工，因此，您需先在引擎創建用于接收數據清洗結果的表，并定義表結構。

1. 創建表。

   1. 在步驟一創建的業務流程中，展開子目錄，右鍵單擊MaxCompute > 表，選擇新建表。

   2. 配置表名稱、引擎實例等信息。

   本文示例分別創建如下兩種表。

   表名稱	描述
   bank_data	用于存儲原始業務數據。
   result_table	用于存儲數據清洗后的結果。

   說明

   • 建表語句請參考建表語句。

   • 更多引擎的可視化建表操作，如創建MaxCompute表、創建EMR表等，詳情請參見創建表。

2. 配置表結構。

   進入表編輯頁面，切換至DDL模式，通過DDL語句配置表結構。生成表結構后，在基本屬性區域輸入表的中文名，并將其提交至開發環境與生產環境，提交成功后可在對應環境的數據源項目查看該表。查看各環境綁定的數據源信息，詳情請參見創建MaxCompute數據源。

   說明

   • 表的新增、更新等操作均需要提交至對應環境后，才會在引擎側生效。

   • 您也可以使用可視化方式，根據業務需求及界面引導配置所需表結構。可視化建表，詳情請參見創建并使用MaxCompute表。

   生成bank_data表結構的參考語句如下。

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT '年齡',
    job             STRING COMMENT '工作類型',
    marital         STRING COMMENT '婚否',
    education       STRING COMMENT '教育程度',
    default         STRING COMMENT '是否有信用卡',
    housing         STRING COMMENT '房貸',
    loan            STRING COMMENT '貸款',
    contact         STRING COMMENT '聯系途徑',
    month           STRING COMMENT '月份',
    day_of_week     STRING COMMENT '星期幾',
    duration        STRING COMMENT '持續時間',
    campaign        BIGINT COMMENT '本次活動聯系的次數',
    pdays           DOUBLE COMMENT '與上一次聯系的時間間隔',
    previous        DOUBLE COMMENT '之前與客戶聯系的次數',
    poutcome        STRING COMMENT '之前市場活動的結果',
    emp_var_rate    DOUBLE COMMENT '就業變化速率',
    cons_price_idx  DOUBLE COMMENT '消費者物價指數',
    cons_conf_idx   DOUBLE COMMENT '消費者信心指數',
    euribor3m       DOUBLE COMMENT '歐元存款利率',
    nr_employed     DOUBLE COMMENT '職工人數',
    y               BIGINT COMMENT '是否有定期存款'
   );

   生成result_table表結構的參考語句如下。

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT '教育程度',
   num BIGINT COMMENT '人數'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. 上傳數據。

   將原始業務數據存儲至DataWorks的表（本文示例為bank_data表）中。本文示例采用直接上傳方式，導入本地文件banking.txt至DataWorks，通過上傳數據模擬實際數據寫入情況。操作圖示如下。更多上傳數據內容，請參考本地數據上傳至bank_data。

步驟三：新建節點

1. 創建節點。

   您可通過如下兩種方式創建：

   • 方式一：基于目錄樹創建。

     1. 在目錄樹的業務流程中找到步驟一創建的業務流程。

     2. 右鍵單擊所需引擎，在新建節點下選擇合適節點。

   • 方式二：基于業務流程面板創建。

     1. 在目錄樹的業務流程中找到步驟一創建的業務流程。

     2. 雙擊該業務流程，進入業務流程面板。

     3. 在面板左側導航欄單擊所需節點，或將所需節點拖拽至面板。

2. 配置節點引擎實例、名稱等信息。

   本文示例創建名為result_table（與步驟二創建的結果表名稱相同）的ODPS SQL節點。

   說明

   使用DataWorks節點進行數據開發時，通過開發節點清洗數據，再將清洗結果存放至結果表。建議您將結果表名稱作為節點的名稱，以便快速定位該節點產出的表數據。

   

步驟四：編輯節點

在業務流程目錄樹或業務流程面板中找到步驟三創建的節點，雙擊進入節點編輯頁面。根據節點類型，通過對應數據庫的語法編寫業務代碼。

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

步驟五：定義節點調度屬性

步驟六：調試代碼

步驟七：保存并提交節點

1. 單擊工具欄的圖標，保存節點配置。

2. 單擊工具欄的圖標，提交節點至開發環境。

步驟八：冒煙測試

步驟九：發布任務

在標準模式工作空間下，數據開發（DataStudio）界面提交的操作（包括數據開發節點、資源、函數的新增、更新、刪除等）都將進入任務發布界面等待發布。您需進入任務發布 > 創建發布包將相關操作通過發布流程發布至生產環境，發布后才可生效。發布詳情請參見發布任務。