離線單條管道即處理離線集成任務的一條管道腳本,可以將一個或多個來源數據源的單表或多表同步到一個或多個目標數據源中。本文為您介紹如何通過離線單條管道配置集成任務。
前提條件
已完成數據源配置。您需要在配置集成任務前,配置好您需要集成的數據源和目標數據庫,以便在配置離線單條管道過程中,為您的開發組件選擇數據源來控制集成任務的讀取和寫入數據庫。離線管道支持的數據源詳情,請參見支持的數據源。
操作步驟
步驟一:創建離線單條管道
在Dataphin首頁,單擊頂部菜單欄的研發->數據集成。
按照以下操作指引,進入創建管道開發腳本對話框。
選擇項目(Dev-Prod 模式需要選擇環境)->單擊離線集成->單擊新建圖標->單擊離線管道。
在創建離線管道對話框中,配置管道相關參數。
參數
描述
管道名稱
填寫管道名稱。支持最長64個字符,不支持特殊字符:
|\/:?<>*"
。調度類型
選擇管道的調度類型。調度類型包括:
周期性節點:指需定期執行的任務。
手動節點:指沒有依賴關系,需手動觸發的任務。
描述
填寫離線單條管道的簡單描述,1000個字符以內。
選擇目錄
默認選擇為離線管道。同時您也可以在離線管道頁面創建目標文件夾后,選擇該目標文件夾為離線管道任務的目錄。
單擊確定。
步驟二:開發離線管道腳本
離線單條管道采用可視化組件的開發方式,您可通過單擊畫布側邊欄組件庫,選擇所需組件類型后拖拽組件到管道開發畫布中,開發管道腳本。如下圖所示:
組件類型:組件庫分為5種組件類型,包括輸入、轉換、流程、輸出、自定義。各組件類型使用場景各不相同,您可根據業務需求選擇所需組件類型進行開發。更多信息,請參見集成組件庫開發說明。
組件:開發管道腳本的功能模塊,各組件對應不同的功能。您可根據業務需求選擇所需組件進行開發。更多信息,請參見各組件配置詳情。
步驟三:管道調度配置
單擊開發畫布菜單欄按鈕,進行調度配置。
在調度配置頁面,配置集成管道的基本信息、調度配置、調度依賴、調度參數、運行配置、資源配置。各配置說明如下:
基本信息:通過集成管道基本信息,您可配置集成管道任務開發負責人、運維負責人及描述。配置說明,請參見配置離線集成管道基本信息。
調度配置:對于周期性節點,調度配置用于定義集成管道任務在生產環境的調度方式。您可以通過調度屬性,配置集成管道任務的調度類型、調度周期、調度邏輯與執行等。配置說明,請參見離線集成管道調度配置。
調度依賴:對于周期性節點,調度依賴用于定義集成管道任務在調度任務中的依賴節點。Dataphin通過各個節點的調度依賴的配置結果,有序的運行業務流程中各個節點,保障業務數據有效、適時地產出。配置說明,請參見離線集成管道調度依賴配置。
運行配置:您可根據業務場景為該集成管道任務配置任務級的運行超時時間和任務運行失敗時的重跑策略,杜絕因計算任務長時間資源占用造成資源浪費的同時提高計算任務運行的可靠性。配置說明,請參見離線集成管道運行配置。
資源配置:您可為當前離線集成任務配置所屬資源組,該離線集成任務將使用該資源組資源進行任務調度。配置說明,請參見配置離線集成管道任務資源。
步驟四:保存并提交離線集成任務
單擊畫布上方的圖標,保存管道任務。
單擊畫布上方的圖標,在提交備注對話框,填寫備注信息后,單擊確定并提交。
提交時,Dataphin將進行任務的血緣解析及提交檢查。更多信息,請參見集成任務提交說明。