數據傳輸服務DTS提供的流式數據ETL(Extract Transform Load)功能是一種高效的實時數據加工工具 。ETL支持通過可視化拖拉拽操作、Flink SQL語句配置任務,并結合DTS的高效流數據復制能力,可以實現流式數據的抽取、數據轉換和加工、數據裝載。在降低開發門檻和業務系統影響的同時提升效率,豐富企業實時數據處理和計算場景,賦能企業數字化轉型。
為什么選擇ETL
ETL支持通過DAG模式和Flink SQL模式配置任務。
DAG模式
可視化處理編輯:ETL任務界面當前提供三種組件(輸入/維表、轉換、輸出),簡單拖拽組件即可快速搭建流處理任務。
豐富的開發組件:
輸入/維表組件(即源庫)支持自建MySQL、RDS MySQL、PolarDB MySQL版、PolarDB-X 1.0(原DRDS)、自建Oracle、自建PostgreSQL、RDS PostgreSQL、Db2 for LUW、Db2 for i、PolarDB PostgreSQL版。
轉換組件目前支持表JOIN、90多種函數計算和字段過濾。
輸出組件(即目標庫)當前支持自建MySQL、RDS MySQL、PolarDB MySQL版、云原生數據倉庫AnalyticDB MySQL版 3.0、自建Oracle、自建PostgreSQL、RDS PostgreSQL、Db2 for LUW、Db2 for i、PolarDB PostgreSQL版。
Flink SQL模式
ETL支持使用Flink SQL語言(符合標準SQL語義的開發語言)配置任務。
行業領先的計算時效:通過DTS強大的數據庫流式數據采集能力,ETL既能保障數據的準確性,同時還具備行業領先的計算實效性。
靈活的任務監控與管理:ETL提供任務列表頁供您進行任務監控和管理,能夠對已經搭建的任務進行啟停、查看詳情等操作。
應用場景
多地域或異構數據實時集中:將多地域或者異構數據實時存儲至同一數據庫中,便于企業中心化高效管理及決策支持。
實時數據集成:ETL強大的流式數據轉換處理能力大幅提升數據集成效率,低代碼的開發方式也進一步降低了數據集成的難度和成本,讓企業專注于數據價值實現。
實時數據倉庫:行業領先的流數據處理能力幫助企業快速搭建實時數據倉庫。
離線數倉加速:通過流數據處理先將數據預處理至數倉,后續再對數倉數據進行深度挖掘。既不影響業務庫運行,也能滿足離線數倉對外服務。
報表提速:構建實時報表體系,不僅大幅提升報表產出效率,還能支持更多實時分析場景,滿足了企業數字化轉型階段對報表產出效率的高要求。
實時計算場景:對業務側產生的流數據實時清洗處理,形成特征值、標簽支持在線業務計算模型(畫像、風控、推薦等)或實時大屏等流計算場景。
優惠活動
通過DAG和Flink SQL模式配置ETL任務的功能即將下線,僅部分用戶可以免費體驗,未曾使用過該功能的用戶已無法體驗,建議您在同步或遷移實例中配置ETL任務。更多信息,請參見在DTS遷移或同步任務中配置ETL。
每個賬號可以免費創建兩個ETL實例,且每個實例在公測期間均免費使用。
公測結束后,繼續運行的實例將開始收費。公測結束時間將會提前以公告、短信等方式進行通知。