本文為您介紹如何通過DataWorks數據集成實時同步數據庫中的數據至Hologres。
前提條件
開通DataWorks,詳情請參見入門概述。
開通Hologres實例并綁定至DataWorks工作空間,詳情請參見DataWorks快速入門。
已開通云數據庫。
跨地域是否可以同步數據,詳情請參見配置資源組與網絡連通。
背景信息
Hologres是實時交互式分析產品,與大數據生態(tài)無縫打通,深度集成智能研發(fā)平臺DataWorks,支持高并發(fā)和低延時地查詢分析數據。您可以通過DataWorks數據集成同步將數據庫中的數據實時同步至Hologres,再進行高并發(fā)低延時的查詢分析處理。
常見的支持實時數據同步的數據庫包括:Oracle、Polar DB、PolarDB MySQL等。
如需查看更多支持的數據庫,請參見支持的數據源及同步方案。
相關原理:MySQL Reader、Oracle數據源、PolarDB Reader、SQL Server Reader、Hologres數據源。
操作流程
通過DataWorks數據集成將多種數據庫數據穩(wěn)定、高效的實時同步至Hologres,請參見以下操作步驟進行操作。
配置輸入數據源
在同步數據之前,需要配置數據來源的數據源。例如,您需要將MySQL數據實時同步至Hologres,就需要配置MySQL數據源。您可以根據業(yè)務場景選擇數據源并配置,詳情請參見配置數據源。
配置輸出Hologres數據源
說明Hologres數據源必須使用數據集成獨享資源組。
在同步之前,需要配置輸出數據源Hologres,詳情請參見配置Hologres數據源。
配置任務
輸入數據源與輸出Hologres數據源配置成功后,需要開始配置同步方式并運行任務,DataWorks數據集成提供三種實時同步方式,您可以根據業(yè)務需求選擇,詳情見下表。
同步類型
適用場景
支持的數據來源
數據源配置指導
同步任務配置指導
單表實時同步
適用于將源端部分表數據的變化實時同步至目標數據庫中,實現目標庫實時保持和源庫的數據對應。
MySQL Binlog
DataHub
LogHub
Kafka
PolarDB
SQL Server
整庫實時同步
適用于將源端全部表的數據變化實時同步至目標數據庫中,實現目標庫實時保持和源庫的數據對應。
PolarDB MySQL
PolarDB
MySQL
同步解決方案
提供多種數據源之間進行不同數據同步場景的同步解決方案,包括實時數據同步、離線全量同步、離線增量同步等同步場景,助力企業(yè)數據更高效、更便捷的一鍵上云。主要包括:
全量數據初始化。
增量數據實時寫入。
增量數據和全量數據定時自動合并寫入新的全量表分區(qū)。
PolarDB MySQL
Oracle
MySQL
PolarDB-X
PostgreSQL
說明使用DataWorks同步數據至Hologres時,同時支持為Hologres目標表添加附加字段,例如添加更新時間等字段。詳情請參見配置并管理實時同步任務。