離線集成
數據管理DMS離線集成是一種低代碼的數據開發工具,您可以組合各類任務節點,形成數據流,通過周期調度運行達到數據加工、數據同步的目的。
支持的數據庫類型
MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他來源MySQL。
SQL Server:RDS SQL Server、MyBase SQL Server、其他來源SQL Server。
PostgreSQL:RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、AnalyticDB for PostgreSQL、其他來源PostgreSQL。
Oracle
DB2
MaxCompute
Hologres
OSS
Hologres只支持數據輸入任務節點,OSS只支持數據輸出任務節點。
應用場景
DMS離線集成提供的批量處理數據功能,可應用于以下場景:
通過低代碼可視化編輯的方式快速搭建離線數倉,支持即席查詢、多維分析、數據挖掘、離線計算等數倉應用場景。
解決企業復雜大數據批處理難題,支持企業精細化運營、數據營銷、智能推薦等大數據業務場景。
離線集成功能底層基于Spark開發,支持提升Hadoop平臺運行速度的應用場景。
如果您在使用該功能的過程中有任何疑問或問題,請使用釘釘搜索釘釘群號31826394,加入釘釘群反饋。
創建數據流流程
操作步驟
- 登錄數據管理DMS 5.0。
在頂部菜單欄中,選擇 。
說明若您使用的是極簡模式的控制臺,請單擊控制臺左上角的圖標,選擇
。單擊新增數據流,輸入數據流名稱,單擊確認。
在數據流詳情頁面,創建數據流節點。具體操作,請參見創建數據流。
在頁面下方配置數據流信息。
單擊數據流信息頁簽,在基礎屬性區域修改數據流名稱、描述、責任人、相關人員。
如果您需要調度數據流,在調度配置區域,打開開啟調度開關,配置調度。
參數
說明
調度類型
選擇調度類型:
周期調度:周期性調度任務,例如一周執行一次任務。
調度一次:在指定時間執行一次任務,僅需配置執行的具體時間。
生效時間
選擇調度周期生效的區間,默認1970-01-01~9999-01-01,表示一直生效。
調度周期
選擇調度任務的周期。
小時:按設定的小時執行任務調度。
日:按每日一次的頻率執行任務調度,需要配置每日調度的具體時間。
周:以周為周期,每個指定天執行一次任務調度,需要配置指定時間和具體時間。
月:以月為周期,每個指定天執行一次任務調度,需要配置指定時間和具體時間。
定時調度
當調度周期選擇小時,需要配置該參數項。有如下兩種選擇:
固定間隔時間調度:設置調度的時間范圍以及調度間隔(單位:小時)。
例如,配置開始時間為00:00、間隔時間為6小時、結束時間為20:59,系統將在0點、6點、12點、18點執行任務。
指定時間調度:設置指定時間執行任務。
例如設置0小時和5小時,則系統將會在0點和5點執行任務。
指定時間
當調度周期選擇周或月,需要配置該參數項。
調度周期為周,選擇星期幾執行任務(可多選)。
調度周期為月,選擇每月幾號執行任務(可多選)。
具體時間
當調度周期選擇日、周或月,或調度類型為調度一次時,需要配置該參數項。
設置執行任務流的具體時間。
例如配置02:55,系統將在指定天的02時55分執行任務;配置2023-09-28 00:00,系統將在指定天的時間執行任務。
cron表達式
cron表達式無需手動配置,系統會根據您配置周期、具體時間自動展現。
單擊高級配置頁簽,設置變量。具體操作,請參見配置時間變量。
發布數據流。具體操作,請參見發布數據流。
可選:單擊畫布右上方前往運維,進行數據流的運維。具體操作,請參見數據流運維。