為了更加方便讓數據庫數據實時導入到DataHub,聯合數據集成一起開發了“數據庫實時導入到DataHub”,盡量簡化數據流入DataHub的流程。整體流程如下:
使用圖解
主賬號使用方式:
打開公有云DataHub Console,選擇對應的Project,點擊右上角的“數據庫實時導入”
如果沒有DW項目,會默認創建一個“數據集成默認空間(di_${主賬號ID})”
點擊“新建導入任務”
新建MySQL數據源
新建獨享數據集成資源組后進行連通性測試
下一步配置同步來源和規則
下一步設置目標Topic
完成配置,開始執行
子賬號使用方式:
授權后,打開公有云DataHub Console,選擇對應的Project,即可按照主賬號的方式來操作;如果子賬號沒有DataWorks項目,則會創建“數據集成默認空間(di_${主賬號Uid})”
子賬號賬號授權最佳實踐:
如只允許訪問子賬號訪問某個Project(test_ss)的自定義策略
{ "Statement": [ { "Action": [ "dhs:ListProject", "dhs:InitializeDataImportProcess" ], "Effect": "Allow", "Resource": "acs:dhs:*:*:projects/*" }, { "Action": [ "dhs:GetProject" ], "Effect": "Allow", "Resource": "acs:dhs:*:*:projects/test_ss" }, { "Action": [ "dhs:*Topic", "dhs:*Shard", "dhs:*Subscription", "dhs:*Connector", "dhs:*Records" ], "Effect": "Allow", "Resource": "acs:dhs:*:*:projects/test_ss/topics/*" }, { "Action": "ram:CreateServiceLinkedRole", "Resource": "*", "Effect": "Allow", "Condition": { "StringEquals": { "ram:ServiceName": [ "dwconnection.datahub.aliyuncs.com" ] } } } ], "Version": "1" }
文檔內容是否對您有幫助?