功能介紹
數據管理DMS的任務編排主要用于編排各類任務節點并進行周期或事件調度執行。您可以通過創建一個或多個任務節點組成的任務流，實現復雜的任務調度，提高數據開發效率。
背景信息
隨著互聯網和物聯網的飛速發展、數據規模急劇增長、數據來源多樣化，同時數據分析需求及業務流程復雜性不斷增加，這使得傳統手動處理數據的方式無法滿足現有需求。因此，需要一個自動化流程來確保數據處理、分析、備份等多種需求的順序和正確性。
針對以上問題，DMS的任務編排應運而生，其可自動化處理數據，提高數據開發效率，減少出錯率，提升數據價值和可靠性。
支持的數據庫類型
關系型數據庫：
MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他來源MySQL
SQL Server：RDS SQL Server、MyBase SQL Server、其他來源SQL Server
PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、其他來源PostgreSQL
OceanBase：OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase
PolarDB PostgreSQL版（兼容Oracle）
Oracle
達夢數據庫
DB2
NoSQL：Lindorm
數據倉庫：
AnalyticDB for MySQL
AnalyticDB for PostgreSQL
DLA
MaxCompute
Hologres
對象存儲：OSS
任務類型介紹
分類 | 任務類型 | 描述 | 相關文檔 |
數據集成 | DTS數據遷移 | 實現跨庫、全量、單表或整庫的數據遷移，遷移的類型包括數據和結構。 | |
離線數據集成 | 用于數據遷移、數據傳輸等場景，實現數據源之間的數據同步。 | ||
數據加工 | 單實例SQL | 將SQL語句發放到指定的關系型數據庫上并執行。 說明 如果目標實例已開啟無鎖結構變更，單實例SQL任務會優先采用無鎖結構變更的方式執行，可以有效避免鎖表問題。更多信息，請參見開啟無鎖結構變更。 | 無 |
循環SQL | 可循環生成SQL語句，再將其分批提交給DMS管理的任意關系型數據庫執行，同時，還可以搭配變量，控制SQL循環次數，達到簡化SQL循環邏輯、平衡SQL語句對源庫產生壓力的目的。 | ||
跨庫Spark SQL | 基于Spark引擎，實現大規模跨庫數據傳輸和數據加工，主要針對各類跨庫數據同步和數據加工場景。 | ||
Lindorm Spark | 通過Lindorm計算引擎高效地完成分布式計算任務，滿足用戶在數據生產、交互式分析、機器學習和圖計算等場景中的計算需求。 | ||
ADB Spark | 支持周期性、有順序地調度Spark作業。 | ||
DLA Serverless Spark | 用于配置Serverless Spark作業。 | ||
無鎖數據變更 | 采用DMS無鎖技術實現數據的Update、Delete等變更。 說明 目標實例需開啟無鎖結構變更。更多信息，請參見開啟無鎖結構變更。 | ||
DLA Spark SQL | 通過SQL的方式提交作業到DLA Spark集群。 | 無 | |
通用 | 單實例SQL賦值 | 將SELECT語句讀取的數據賦值給輸出變量，輸出變量可以在下一節點中被使用。 | |
條件分支 | 條件分支節點可用于在任務流中進行條件判斷。執行任務流時，如果條件分支節點的條件表達式判斷結果為True，執行后續任務，否則不執行后續任務。 | ||
DLA一鍵數倉 | 基于DLA一鍵建倉的功能，將數據庫的數據上傳到OSS，建立數據倉庫。 | ||
DBS備份 | 通過DBS將數據庫的數據備份到DBS提供的OSS中。 | ||
EC遠程命令 | 基于ECS云助手在遠程ECS上執行Shell、PowerShell、Bat命令或腳本代碼。 | ||
腳本代碼 | 基于數據庫網關的腳本任務可以實現周期性或定時運行腳本。 | ||
儀表盤推送 | 儀表盤推送節點通過聯動數據服務功能，可以將數據可視化的圖表直接推送至您的釘釘、釘釘機器人或郵箱中。 | ||
狀態檢查 | 表時間列狀態檢查 | 檢查某一時間點后，目標表中是否有新增數據。 | 無 |
Lindorm文件檢查 | 用于檢查Lindorm HDFS下某個文件是否存在。 | 無 | |
SQL狀態檢查 | 通過SQL語句檢查數據狀態。例如，統計班級里男生是否超過10人。 | 無 | |
稽核任務 | 用于檢查數據質量。設置質量規則和調度周期后，自動檢查數據質量并生成報告。 | 無 | |
任務流依賴檢查 | 實現任務流自依賴和跨任務流間依賴，依賴的目標對象可以是某個任務流或某個任務節點。 |