DMS的數據集成與開發功能模塊,針對數據全生命周期的集成、開發、服務三個階段提供界面化的功能支持。
功能簡介
數據集成與開發功能模塊支持多種計算、存儲引擎,支持結構化、半結構化、非結構化數據的實時集成、離線集成、開發、服務,能夠滿足企業各類數據加工、集成、開發、服務需求。
您可以通過流批一體的數據集成對在線數據進行入倉、加工處理,通過數據開發模塊對數倉數據進行分層開發,之后結合數據服務和可視化能力對外提供數據使用和分析服務。您也可以將這些功能作為基礎能力集成到您自己的數據平臺中使用,建設屬于企業獨有的數據平臺。
產品優勢
流批一體技術,支持20多種數據實時、離線集成。
低代碼開發。
100%兼容Flink、Spark。
支持鏈路及開發過程中的數據安全。
分鐘級調度。
多環境管理。
應用場景
數據集成
運維:數據容災、異地多活、數據歸檔、數據遷移、測試數據生成、運維指標監控、業務指標監控等。
開發:實時報表、日志分析、離線寬表、T+1數據快照、數據聚合、數據清洗、數據脫敏等。
數據開發
數據庫開發:跨庫開發、定時任務、數據歸檔、數據遷移、報表開發等。
數倉開發:數據入倉、數據清洗、數據加工、數據分層、報表開發、寬表開發等。
數據集成(DTS)
DMS數據集成支持多源異構數據的實時、離線集成,包含數據同步、離線集成、流式ETL三個功能模塊。
數據同步。更多信息,請參見數據同步方案概覽。
數據同步功能幫助您實現數據源之間的數據實時同步,適用于數據異地多活、數據異地災備、本地數據災備、跨境數據同步、云BI及實時數據倉庫等多種業務場景。
離線集成。更多信息,請參見離線集成概述。
離線集成是一種低代碼的數據開發工具,您可以組合各類任務節點,形成數據流,通過周期調度運行達到數據加工、數據同步的目的,進而對在線數據庫、數據倉庫的數據進行加工處理并同步至目的端。
流式ETL。更多信息,請參見流式ETL。
通過可視化拖拉拽操作、SQL語句(100%兼容Flink)兩種方式配置流式加工任務,實現流式數據的抽取、數據轉換和加工、數據裝載能力,適用于日志、在線數據實時加工處理、實時統計報表等各類實時數據開發場景。