MySQL輸入基于Binlog實時訂閱的方式,實時讀取您配置的MySQL數據庫表數據。本文為您介紹,如何配置MySQL輸入,以及配置輸入之前需要準備的網絡環境及賬號權限。
前提條件
配置MySQL輸入之前,請確保已完成以下規劃與準備工作。
已配置同步賬號權限,詳情請參見配置賬號權限。
實時同步通過數據源配置賬號訪問MySQL,在實時同步場景下,您需要確保此賬號擁有數據庫的
SELECT
、REPLICATION SLAVE
、REPLICATION CLIENT
權限。已開啟MySQL Binlog服務,詳情請參見開啟MySQL Binlog。
數據集成通過實時訂閱MySQL Binlog實現增量數據實時同步,您需要在DataWorks配置同步任務前,先開啟MySQL Binlog服務。
已購買合適規格的獨享數據集成資源組。詳情請參見新增和使用獨享數據集成資源組。
已配置數據同步資源組與數據庫的網絡連通,詳情請參見網絡連通方案。
使用限制
數據集成不支持同步MySQL只讀庫實例的數據。
DataWorks的數據集成實時同步MySQL數據是基于實時訂閱MySQL實現的,實時同步MySQL數據目前僅支持配置MySQL數據源為RDS的
5.x
或8.x
版本的MySQL,如果需要同步DRDS的MySQL,請不要將DRDS的MySQL配置為MySQL數據源,您可以參考配置DRDS數據源文檔直接將其配置為DRDS數據源。不支持Functional index。
配置MySQL輸入
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
鼠標懸停至圖標,單擊 。
您也可以展開業務流程,右鍵單擊目標業務流程,選擇
。在新建節點對話框中,選擇同步方式為單表(Topic)到單表(Topic)ETL,輸入名稱,并選擇路徑。
重要節點名稱必須是大小寫字母、中文、數字、下劃線(_)以及英文句號(.),且不能超過128個字符。
單擊確認。
在實時同步節點的編輯頁面,單擊 并拖拽至編輯面板。
單擊MySQL節點,在節點配置對話框中,配置各項參數。
參數
描述
數據源
選擇已經配置好的MySQL數據源,此處僅支持MySQL數據源。
如果未配置數據源,請單擊右側的新建數據源,進入
頁面進行新建。表
選擇當前數據源下需要同步的表名稱。您可以單擊右側的數據預覽進行確認。
您可以實現分庫分表的場景,配置的庫和表會在該任務中同時進行實時同步。
重要分庫分表中的數據表的Schema請保持一致,以避免執行報錯。
輸出字段
選擇需要同步的字段,包括管理字段和數據字段:
管理字段:為方便進行數據管理、排序和去重等操作,會在同步的目標端自動添加附加字段。
數據字段:顯示要同步的原始表中對應的字段。
詳情請參見實時同步字段格式。
MySQL節點支持分庫分表,您可以單擊添加分庫分表數據源,從下拉列表中選擇相應的數據源和表,添加多個數據源,同時進行同步。
重要所選表的Schema需要保持一致,否則執行會報錯。
單擊工具欄中的圖標。