前提條件

支持的數(shù)據(jù)庫類型：

• MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他來源MySQL

• SQL Server：RDS SQL Server、MyBase SQL Server、其他來源SQL Server

• PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、AnalyticDB for PostgreSQL、其他來源PostgreSQL

• Oracle

• DB2

• MaxCompute

• Hologres

  說明

  Hologres只支持數(shù)據(jù)輸入任務(wù)節(jié)點。

• OSS

  說明

  OSS只支持數(shù)據(jù)輸出任務(wù)節(jié)點。

操作步驟

1. 登錄數(shù)據(jù)管理DMS 5.0。

2. 在頂部菜單欄中，選擇集成與開發(fā) > 數(shù)據(jù)集成 > 離線集成。

   說明

   若您使用的是極簡模式的控制臺，請單擊控制臺左上角的圖標(biāo)，選擇全部功能 > 集成與開發(fā) > 數(shù)據(jù)集成 > 離線集成。

3. 單擊目標(biāo)數(shù)據(jù)流，進入數(shù)據(jù)流詳情頁面。

4. 配置數(shù)據(jù)輸入節(jié)點。

   說明

   數(shù)據(jù)流的第一個節(jié)點必須是數(shù)據(jù)輸入，為數(shù)據(jù)流提供數(shù)據(jù)源。

   1. 在左側(cè)任務(wù)類型列表中，拖拽數(shù)據(jù)輸入節(jié)點到畫布空白區(qū)域。

   2. 單擊數(shù)據(jù)輸入節(jié)點，在頁面下方的數(shù)據(jù)源頁簽中配置數(shù)據(jù)源信息。

      配置項	操作
      數(shù)據(jù)庫類型	選擇源數(shù)據(jù)庫的類型。
      數(shù)據(jù)庫	輸入并選擇數(shù)據(jù)流讀取數(shù)據(jù)的源數(shù)據(jù)庫。 （可選）若數(shù)據(jù)庫為非安全協(xié)同模式，還需要在彈出的登錄實例對話框中，輸入數(shù)據(jù)庫賬號和數(shù)據(jù)庫密碼。
      表	選擇數(shù)據(jù)流讀取數(shù)據(jù)的源表。

5. 以過濾源表數(shù)據(jù)為例，配置數(shù)據(jù)處理節(jié)點。

   說明

   除數(shù)據(jù)輸入和數(shù)據(jù)輸出外，其他任務(wù)類型均可作為數(shù)據(jù)處理節(jié)點。

   1. 在左側(cè)任務(wù)類型列表中，拖拽數(shù)據(jù)過濾節(jié)點到畫布的空白區(qū)域。

   2. 將鼠標(biāo)放在數(shù)據(jù)輸入節(jié)點上，單擊節(jié)點右側(cè)出現(xiàn)的空心圓點并拉出連接線，連接至數(shù)據(jù)過濾節(jié)點上。

      

   3. 單擊數(shù)據(jù)過濾節(jié)點，在頁面下方的數(shù)據(jù)過濾頁簽中配置數(shù)據(jù)的過濾條件表達式。

      例如，在過濾條件表達式文本框中輸入name='小明'。

      說明

      您可以直接在輸入框中輸入過濾條件，也可以雙擊函數(shù)列表的函數(shù)輔助編寫。

6. 配置數(shù)據(jù)輸出節(jié)點。

   說明

   數(shù)據(jù)流的最后一個節(jié)點必須是數(shù)據(jù)輸出，提供處理后的數(shù)據(jù)要寫入的目標(biāo)表。

   1. 在左側(cè)任務(wù)類型列表中，拖拽數(shù)據(jù)輸出節(jié)點到畫布的空白區(qū)域。

   2. 單擊數(shù)據(jù)輸出節(jié)點，在頁面下方的數(shù)據(jù)輸出頁簽中配置數(shù)據(jù)輸出節(jié)點。

      • 數(shù)據(jù)庫：

        配置項	描述
        數(shù)據(jù)庫類型	選擇輸出數(shù)據(jù)的目標(biāo)數(shù)據(jù)庫類型。
        數(shù)據(jù)庫	搜索并選擇輸出數(shù)據(jù)的目標(biāo)數(shù)據(jù)庫。 說明 如果數(shù)據(jù)庫未登錄，在登錄實例對話框中，輸入數(shù)據(jù)庫賬號和數(shù)據(jù)庫密碼登錄數(shù)據(jù)庫。
        表名	選擇或輸入數(shù)據(jù)流輸出數(shù)據(jù)的目標(biāo)表。
        寫入前執(zhí)行語句	輸入寫入數(shù)據(jù)之前需要執(zhí)行的SQL語句。
        寫入后執(zhí)行語句	輸入寫入數(shù)據(jù)之后需要執(zhí)行的SQL語句。
        是否自動建表	打開或關(guān)閉是否自動建表開關(guān)。 開關(guān)關(guān)閉：如果表不存在，在執(zhí)行任務(wù)時不會自動創(chuàng)建表，任務(wù)流會執(zhí)行失敗。 開關(guān)打開：如果表不存在，在執(zhí)行任務(wù)時會自動創(chuàng)建表，任務(wù)流繼續(xù)執(zhí)行。

      • OSS：

        配置項	描述
        數(shù)據(jù)庫類型	選擇OSS。
        OSS Bucket	搜索并選擇OSS的Bucket。
        OSS路徑	輸入數(shù)據(jù)在OSS中的保存路徑。
        表名	輸入數(shù)據(jù)流寫入數(shù)據(jù)的目標(biāo)表。
        覆蓋目標(biāo)表	打開或關(guān)閉覆蓋目標(biāo)表開關(guān)。 開關(guān)關(guān)閉：直接寫入數(shù)據(jù)。 開關(guān)打開：如果表已存在，先清空目標(biāo)表或者分區(qū)數(shù)據(jù)，再寫入數(shù)據(jù)。
        文件格式	選擇文件存儲格式。 支持4種文件存儲格式：Parquet、ORC、Avro和CSV。
        壓縮	選擇文件的壓縮方式。
        分區(qū)	選擇數(shù)據(jù)的分區(qū)鍵。您可以通過分區(qū)鍵中的值，快速查找您需要的數(shù)據(jù)。 說明 已配置數(shù)據(jù)輸入節(jié)點和連接各節(jié)點，您才能選擇分區(qū)鍵。

   3. 將鼠標(biāo)放在數(shù)據(jù)過濾節(jié)點上，單擊節(jié)點右側(cè)出現(xiàn)的空心圓點并拉出連接線，連接至數(shù)據(jù)輸出節(jié)點上。

      此時，節(jié)點的自動消失，表示數(shù)據(jù)流的節(jié)點上下游依賴完整。