準備工作
1. 準備Hologres實例和表結構
使用Hologres管控臺新建Hologres實例,DataHub同步Hologres時會根據DataHub Field的數據類型同步到對應的Hologres 表數據類型中,對應的類型映射關系如下所示:
DataHub | Hologres |
TINYINT | SMALLINT |
SMALLINT | SMALLINT |
INTERGER | INTERGER |
BIGINT | BIGINT |
FLOAT | REAL |
DOUBLE | DOUBLE PRECISION |
DECIMAL | DECIMAL |
STRING | TEXT |
BOOLEAN | BOOLEAN |
TIMESTAMP | TIMESTAMPTZ |
同步說明:
Hologres V2.0版本起支持DataHub TINYINT、SMALLINT、INTEGER和FLOAT四種新數據類型
創建同步任務
單擊DataHub中已創建的Topic,進入Topic詳情頁。
單擊Topic詳情頁右上角的+同步。
在新建Connector界面單擊Hologres,配置新建Connector彈框的參數,單擊創建。
同步Hologres支持分區表,在Hologres創建分區表后,同步Hologres任務會自動根據分區字段進行數據同步
同步參數說明:
參數 | 描述 | 說明 |
Instance | Hologres實例的ID。 | 進入Hologres管理控制臺的,獲取實例ID。 |
DataBase | Hologres的數據庫名稱。 | 無 |
Table | Hologres用于接收數據的表名稱。 | 無 |
主鍵同步策略 | 當Hologres表設置主鍵時,從DataHub寫入的數據的同步策略 |
|
同步場景 | DataHub同步到Hologres的同步模式 |
|
導入字段 | 需要導入Hologres的字段。 | 可以根據實際業務需求選擇導入部分或全部字段。 |
鑒權模式 | 默認為AK。 | 無 |
AccessId | 訪問Hologres實例的AccessKey ID。 | 您可以單擊AccessKey 管理,獲取用戶的AccessKey ID。 |
AccessKey | 訪問Hologres實例的AccessKey Secret。 | 您可以單擊AccessKey 管理,獲取AccessKey Secret。 |
起始時間 | 同步Hologres的最早數據同步時間 | 無 |
TimestampUnit | 同步Hologres的時間單位 | 將數據中TIMESTAMP類型的數據(如果有),以TimestampUnit為單位進行轉換后寫入到下游系統的日期類型 |
同步場景中的(dts/dts_old)同步模式適用于數據由DTS寫入到DataHub,然后同步到Hologres的場景
新舊附加列說明請參考Hologres文檔 實時同步DataHub的數據至Hologres
同步DataHub的數據至Hologres
成功創建Connector后,您可以在Topic詳情頁的數據同步中查看實時同步數據的狀態。
Hologres查詢數據
您可以連接Hologres實例至開發工具,實時查詢同步至Hologres中的數據,詳情請參見概述。示例查詢語句如下。
SELECT COUNT(*) FROM lineitem;
常見問題
Q: 創建同步報錯
ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist
A: Hologres支持在HoloWeb中設置IP白名單來進行訪問管理,如遇此報錯請檢查是否再HoloWeb中設置了IP白名單。添加ip白名單操作詳情見:ip白名單
附:使用DataHub同步Hologres需要在數據庫添加的IP白名單
Region | 經典網白名單 |
華東1(杭州) | 10.127.226.0/24 10.32.103.0/24 10.32.104.0/24 10.32.175.0/24 10.32.177.0/24 10.32.94.0/24 10.32.95.0/24 10.32.96.0/24 10.32.97.0/24 10.32.98.0/24 10.32.99.0/24 10.88.7.0/24 11.117.164.0/24 11.117.165.0/24 11.117.166.0/24 11.117.167.0/24 11.197.10.0/24 11.197.14.0/24 11.197.15.0/24 11.197.16.0/24 |
華東2(上海) | 11.217.75.0/24 11.222.38.0/24 11.222.93.0/24 11.223.69.0/24 |
華北2(北京) | 11.204.155.0/24 11.204.158.0/24 11.204.161.0/24 11.204.162.0/24 11.218.245.0/24 11.220.203.0/24 11.220.204.0/24 11.220.216.0/24 11.220.217.0/24 11.220.237.0/24 11.220.238.0/24 11.220.240.0/24 11.220.242.0/24 11.223.107.0/24 |
華南1(深圳) | 11.216.113.0/24 11.217.52.0/24 11.220.54.0/24 11.220.56.0/24 |
亞太東南1(新加坡) | 11.216.101.0/24 11.219.129.0/24 |
政務云(北京) | 11.199.246.0/24 11.199.247.0/24 |
華北 3(張家口) | 11.218.202.0/24 11.218.203.0/24 |
亞太南部 1(孟買-印度) | 11.207.230.0/24 11.207.231.0/24 11.207.248.0/24 |
亞太東南 3(吉隆坡-馬來西亞) | 11.204.39.0/24 11.204.40.0/24 11.204.41.0/24 11.48.249.0/24 11.48.250.0/24 |
中國香港 | 11.195.192.0/24 |
美國硅谷 | 11.199.218.0/24 11.199.219.0/24 11.199.229.0/24 |