DataHub DataConnector是把DataHub服務中的流式數據同步到其他云產品中的功能,目前支持將Topic中的數據實時/準實時同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用戶只需要向DataHub中寫入一次數據,并在DataHub服務中配置好同步功能,便可以在各個云產品中使用這份數據。
DataHub DataConnector是把DataHub服務中的流式數據同步到其他云產品中的功能,目前支持將Topic中的數據實時/準實時同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用戶只需要向DataHub中寫入一次數據,并在DataHub服務中配置好同步功能,便可以在各個云產品中使用這份數據。
注意事項:
目前所有DataConnector均僅支持同一Region的云服務之間同步數據,不支持同步數據到跨Region的服務。
DataConnector所配置的目標服務Endpoint需要填寫相應的內網域名(經典網絡),不支持使用公網域名同步。
數據同步目前僅支持at least once語義,在網絡服務異常等小概率場景下可能會導致目的端的數據產生重復,需要做去重處理。
DataConnector支持系統(tǒng)
目標系統(tǒng) | 時效性 | 是否支持vpc | 描述 |
MaxCompute(ODPS) | 準實時,通常情況5分鐘延遲 | No | 同步Topic中流式數據到離線MaxCompute表,字段類型名稱需一一對應,且DataHub中必須包含一列(或多列)MaxCompute表中分區(qū)列對應的字段 |
OSS | 實時 | No | 同步數據到對象存儲OSS指定Bucket的文件中,將以csv格式保存 |
ElasticSearch | 實時 | Yes | 同步數據到ElasticSearch指定Index中,Shard之間數據同步不保證時序,所以需將同樣ID的數據寫入相同的Shard中 |
MySQL | 實時 | Yes | 同步數據到指定的Rds Mysql表中 |
ADS | 實時 | No | 同步數據到指定的ADS表中 |
TableStore | 實時 | No | 同步數據到指定的TableStore表中 |
查看同步任務
在創(chuàng)建完成同步任務后,切換到數據同步頁簽點擊查看可以查看同步的詳細信息,包括同步的點位、同步狀態(tài)等信息