創建離線腳本模式后,可以通過直接編寫數據同步的JSON腳本來完成數據同步開發,為數據同步開發提供了更靈活的能力和更精細化的配置管理。本文為您介紹如何創建離線腳本模式。
前提條件
已完成數據源配置。您需要在配置集成任務前,配置好您需要集成的數據源和目標數據庫,以便在開發配置離線集成腳本過程中讀取和寫入數據庫。離線管道支持的數據源詳情,請參見數據集成支持的數據源。
操作步驟
步驟一:創建離線腳本
在Dataphin首頁,單擊頂部菜單欄的研發->數據集成。
按照以下操作指引,進入創建離線腳本對話框。
選擇項目(Dev-Prod 模式需要選擇環境)->單擊離線集成->單擊新建圖標->單擊離線管腳本。
在創建離線腳本對話框,配置參數。
區域
參數
描述
基本信息
任務名稱
填寫離線腳本名稱。命名規則如下:
除豎線(|)、半角冒號(:)、半角問號(?)、尖括號(<>)、星號(*)、半角引號(")、羅馬字符(v)外,其余字符均支持。
不能超過64個字符。
調度類型
選擇離線腳本的調度類型。調度類型包括:
周期性節點:指需定期執行的任務。
手動節點:指沒有依賴關系,需手動觸發的任務。
描述
填寫離線腳本的簡單描述,1000個字符以內。
選擇目錄
默認選擇為離線管道。同時您也可以在離線管道頁面創建目標文件夾后,選擇該目標文件夾為離線管道任務的目錄。
數據源配置
來源類型
選擇來源數據源類型。
數據源
選擇來源數據源。如果沒有對應的數據源,可單擊新建,后續步驟請參見數據集成支持的數據源。
說明僅可選擇有同步讀權限的數據源,如何申請,詳情請參見申請數據源權限。
目標類型
選擇需要同步寫入數據的數據源類型。
數據源
選擇需要同步寫入數據的數據源。如果沒有對應的數據源,可單擊新建,后續步驟請參見數據集成支持的數據源。
說明僅可選擇有同步寫權限的數據源,如何申請,詳情請參見申請數據源權限。
單擊確定。
步驟二:開發離線腳本
離線腳本采用代碼編碼的開發方式,通過編寫數據同步的JSON腳本來完成數據同步開發,提供了更靈活的能力和更精細化的配置。如下圖所示:
輸入的字符數最大上限為500000字符。
步驟三:管道調度配置
單擊開發畫布菜單欄按鈕,進行調度配置。
在調度配置頁面,配置集成管道的基本信息、調度配置、調度依賴、調度參數、運行配置、資源配置。各配置說明如下:
基本信息:通過集成管道基本信息,您可配置集成管道任務開發負責人、運維負責人及描述。配置說明,請參見配置離線集成管道基本信息。
調度配置:用于定義集成管道任務在生產環境的調度方式。您可以通過調度屬性,配置集成管道任務的調度類型、調度周期、調度邏輯與執行等。配置說明,請參見配置離線管道調度。
調度依賴:用于定義集成管道任務在調度任務中的依賴節點。Dataphin通過各個節點的調度依賴的配置結果,有序的運行業務流程中各個節點,保障業務數據有效、適時地產出。配置說明,請參見配置離線管道調度依賴。
運行配置:您可根據業務場景為該集成管道任務配置任務級的運行超時時間和任務運行失敗時的重跑策略,杜絕因計算任務長時間資源占用造成資源浪費的同時提高計算任務運行的可靠性。配置說明,請參見離線管道任務運行配置。
資源配置:您可為當前離線集成任務配置所屬資源組,該離線集成任務將使用該資源組資源進行任務調度。配置說明,請參見配置離線集成管道任務資源。
單擊確定。
步驟四:保存并提交離線集成任務
單擊畫布上方的圖標,保存管道任務。
單擊畫布上方的圖標,在提交備注對話框,填寫備注信息后,單擊確定并提交。
提交時,Dataphin將進行任務的血緣解析及提交檢查。更多信息,請參見集成任務提交說明。