本文介紹數據庫傳輸服務DTS提供的ETL功能支持的轉換組件及其配置方法。
背景信息
ETL支持的轉換組件如下:
表JOIN
字段計算器
表記錄過濾
使用限制
ETL支持的轉換組件存在如下限制:
表JOIN:僅支持兩個表之間做JOIN操作。
字段計算器和表記錄過濾:僅支持單個表結構。
前提條件
已完成數據源信息的配置。
配置表JOIN
進入ETL任務的列表頁面。
登錄數據傳輸服務DTS控制臺。
在左側導航欄,單擊ETL。
單擊左上角的,在新增數據流對話框中,您需在數據流名稱配置ETL任務名稱,選擇開發方式為DAG。
單擊確認。
完成數據源信息的配置,配置方法請參見配置源庫信息。
重要需要配置兩個源庫。
在頁面左側,將表 Join節點拖拽至頁面右側畫布的空白區域。
將鼠標指針移動至已完成配置的目標數據源上,單擊圓點拉出連接線,連接目標數據源和表 Join-1。
單擊畫布區域的表 Join-1,根據頁面信息配置轉換組件。
在節點配置頁簽,設置以下參數,配置節點信息。
區域
參數
說明
轉換名稱
請輸入轉換名稱
建議配置具有業務意義的名稱(無唯一性要求),便于后續識別。
Join配置
Join類型符左邊的表
選擇放置在Join類型符左邊的表。
時態Join時間屬性
選擇Join的時間屬性,默認為Join。
基于事件時間Watermark
基于處理時間ProcTime
說明時態Join要求流表均需定義時間屬性,右表要有主鍵;如果右表是維表,要求其主鍵在equal條件中。
選擇Join操作
選擇Join操作方式。
Inner Join:數據為兩張表的交集。
Left Join:左表中的數據不變,右表中的數據為兩張表的交集。
Right Join:左表中的數據為兩張表的交集,右表中的數據不變。
Join條件
+新增條件
單擊+新增條件,從多個數據源中選擇Join的條件字段。
說明等號(=)左側為數據源左表字段,右側為數據源右表字段。
完成Join條件配置后,單擊輸出字段頁簽。根據實際需要,在列名稱列勾選需要的字段。
配置字段計算器
進入ETL任務的列表頁面。
登錄數據傳輸服務DTS控制臺。
在左側導航欄,單擊ETL。
單擊左上角的,在新增數據流對話框中,您需在數據流名稱配置ETL任務名稱,選擇開發方式為DAG。
單擊確認。
完成數據源信息的配置,配置方法請參見配置源庫信息。
在頁面左側,將字段計算器節點拖拽至頁面右側畫布的空白區域。
將鼠標指針移動至已完成配置的目標數據源上,單擊圓點拉出連接線,連接目標數據源和字段計算器-1。
單擊畫布區域的字段計算器-1,設置以下參數,配置轉換組件。
在轉換名稱區域,輸入轉換名稱。
說明建議配置具有業務意義的名稱(無唯一性要求),便于后續識別。
在計算器配置區域,單擊+新增字段。
在計算器配置列表中,單擊新增字段所在行操作列的計算配置。
在取值配置區域,設置以下參數。
參數
說明
字段名
DTS會自動生成一個名稱,建議配置具有業務意義的名稱(無唯一性要求),便于后續識別。
選擇ETL數據類型
選擇需要的ETL數據類型。
目標字段:字段名,取值配置
選擇以下任意一種方式為目標字段配置計算方法。
直接輸入需要的計算方法。
單擊字段輸入、函數集或操作符區域中的選項配置計算方法。
配置表記錄過濾
進入ETL任務的列表頁面。
登錄數據傳輸服務DTS控制臺。
在左側導航欄,單擊ETL。
單擊左上角的,在新增數據流對話框中,您需在數據流名稱配置ETL任務名稱,選擇開發方式為DAG。
單擊確認。
完成數據源信息的配置,配置方法請參見配置源庫信息。
在頁面左側,將表記錄過濾節點拖拽至頁面右側畫布的空白區域。
將鼠標指針移動至已完成配置的目標數據源上,單擊圓點拉出連接線,連接目標數據源和表記錄過濾-1。
單擊畫布區域的表記錄過濾-1,根據頁面信息配置轉換組件。
在轉換名稱右側,輸入轉換名稱。
說明建議配置具有業務意義的名稱(無唯一性要求),便于后續識別。
在where條件區域,您可以選擇以下任意一種方法配置where條件。
直接輸入需要的where條件。
單擊右側字段輸入或操作符區域中的選項配置where條件。
執行結果
完成配置的轉換組件右側不顯示時,說明配置完成。