數(shù)據(jù)類型映射

元數(shù)據(jù)遷移

元數(shù)據(jù)的遷移，主要指進(jìn)行建表DDL的遷移。

1. 在ClickHouse-Client使用如下命令語句查看源ClickHouse實(shí)例的數(shù)據(jù)庫列表。

   說明

   查詢到的表中system是系統(tǒng)數(shù)據(jù)庫，不需要遷移，可以直接過濾掉。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW databases"  > database.list;

   參數(shù)說明如下。

   參數(shù)	說明
   host	ClickHouse源實(shí)例的地址。
   port	ClickHouse源實(shí)例的端口。
   username	登錄ClickHouse源實(shí)例的賬號(hào)，擁有DML讀寫和設(shè)置權(quán)限，允許DDL權(quán)限。
   password	登錄ClickHouse源實(shí)例賬號(hào)的密碼。

2. 在ClickHouse-Client使用如下命令語句查看源ClickHouse實(shí)例的數(shù)據(jù)表列表。

   說明

   查詢到的表中，如果有以.inner.開頭的表，此類表是物化視圖的內(nèi)部表，不需要遷移，可以直接過濾掉。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW tables from <database_name>" > table.list;

   參數(shù)說明如下。

   參數(shù)	說明
   host	源ClickHouse實(shí)例的地址。
   port	源ClickHouse實(shí)例的端口。
   username	登錄源ClickHouse實(shí)例的賬號(hào)，擁有DML讀寫和設(shè)置權(quán)限，允許DDL權(quán)限。
   password	登錄源ClickHouse實(shí)例賬號(hào)的密碼。
   database_name	源ClickHouse實(shí)例遷移表所在的數(shù)據(jù)庫名稱。

   您也可以通過以下命令語句查詢?cè)碈lickHouse實(shí)例所有的數(shù)據(jù)庫和表名稱。

   select distinct database, name from system.tables where database != 'system';

3. 在ClickHouse-Client使用如下命令語句導(dǎo)出ClickHouse源實(shí)例的建表DDL。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW CREATE TABLE <database_name>.<table_name>"  > table.sql;

   您也可以使用如下命令直接查看system.tables元數(shù)據(jù)表。

   SELECT * FROM system.tables
   where database = '<database_name>' and engine != 'Distributed';

   system.tables中字段的轉(zhuǎn)換說明如下。

   字段	說明
   database	ClickHouse的database映射到Hologres（PostgreSQL語法）的Schema概念，即ClickHouse的create database "<database_name>"; 命令映射為Hologres的create schema "<schema_name>";命令。
   name	表名稱，無需改動(dòng)。
   engine	Hologres沒有Distributed表概念，沒有Local和Distributed之分，就是一個(gè)單表，分布式存儲(chǔ)和查詢，所以需要過濾掉engine='Distributed'的表。
   is_temporary	Temporary表邏輯上無須遷移，同時(shí)Hologres暫不支持Temporary表。
   data_paths metadata_path metadata_modification_time	可忽略。
   dependencies_database dependencies_table	常見于View、Materialized View。具有dependencies的View，在Hologres中，需要先于base表創(chuàng)建。Hologres的Materialized View還未支持。
   create_table_query	ClickHouse源實(shí)例表的DDL，需轉(zhuǎn)換成Hologres DDL（PostgreSQL語法）。
   engine_full	Engine詳細(xì)信息，可忽略。
   partition_key	對(duì)應(yīng)Hologres的分區(qū)列，ClickHouse的源實(shí)例partition_key如果為col1，則Hologres建表語句后添加partition by list (col1);語句。
   sorting_key	對(duì)應(yīng)Hologres的Segment Key和Clustering Key索引。
   primary_key	主鍵，對(duì)應(yīng)Hologres DDL語法的Primary Key。
   sampling_key	Hologres DDL不支持采樣。
   storage_policy	存儲(chǔ)策略，可忽略。

4. 將源ClickHouse實(shí)例的建表DDL轉(zhuǎn)換為Hologres的語法（兼容PostgreSQL SQL標(biāo)準(zhǔn)）。

   根據(jù)system.tables中字段的轉(zhuǎn)換說明和數(shù)據(jù)類型映射進(jìn)行DDL轉(zhuǎn)換，示例如下。

   • 將名稱為lineitem表在ClickHouse實(shí)例中的DDL轉(zhuǎn)換為Hologres的建表DDL。

     • ClickHouse實(shí)例的建表DDL如下所示。

       -- lineitem on ClickHouse
       CREATE TABLE lineitem_local ON CLUSTER default(
         l_orderkey            UInt64,
         l_partkey             UInt32,
         l_suppkey             UInt32,
         l_linenumber          UInt32,
         l_quantity            decimal(15,2),
         l_extendedprice       decimal(15,2),
         l_discount            decimal(15,2),
         l_tax                 decimal(15,2),
         l_returnflag          LowCardinality(String),
         l_linestatus          LowCardinality(String),
         l_shipdate            Date,
         l_commitdate          Date,
         l_receiptdate         Date,
         l_shipinstruct        LowCardinality(String),
         l_shipmode            LowCardinality(String),
         l_comment             LowCardinality(String)
       ) ENGINE = MergeTree
       PARTITION BY toYear(l_shipdate)
       ORDER BY (l_orderkey, l_linenumber);
       
       CREATE TABLE lineitem on cluster default as lineitem_local ENGINE = Distributed(default, default, lineitem_local, l_orderkey);

     • 轉(zhuǎn)換后Hologres實(shí)例的建表DDL如下所示。

       -- lineitem on Hologres
       -- create a table group with 32 shards
       CALL hg_create_table_group ('lineitem_tg', 32);
       BEGIN;
       CREATE TABLE LINEITEM
       (
           L_ORDERKEY      BIGINT         NOT NULL,
           L_PARTKEY       INT         NOT NULL,
           L_SUPPKEY       INT         NOT NULL,
           L_LINENUMBER    INT         NOT NULL,
           L_QUANTITY      DECIMAL(15,2) NOT NULL,
           L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
           L_DISCOUNT      DECIMAL(15,2) NOT NULL,
           L_TAX           DECIMAL(15,2) NOT NULL,
           L_RETURNFLAG    TEXT        NOT NULL,
           L_LINESTATUS    TEXT        NOT NULL,
           L_SHIPDATE      TIMESTAMPTZ NOT NULL,
           L_COMMITDATE    TIMESTAMPTZ NOT NULL,
           L_RECEIPTDATE   TIMESTAMPTZ NOT NULL,
           L_SHIPINSTRUCT  TEXT        NOT NULL,
           L_SHIPMODE      TEXT        NOT NULL,
           L_COMMENT       TEXT        NOT NULL,
           PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
       );
       CALL set_table_property('LINEITEM', 'clustering_key', 'L_SHIPDATE,L_ORDERKEY');
       CALL set_table_property('LINEITEM', 'segment_key', 'L_SHIPDATE');
       CALL set_table_property('LINEITEM', 'table_group', 'lineitem_tg');
       CALL set_table_property('LINEITEM', 'distribution_key', 'L_ORDERKEY');
       -- columns with LowCardinality
       CALL set_table_property('LINEITEM', 'bitmap_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
       -- columns with LowCardinality
       CALL set_table_property('LINEITEM', 'dictionary_encoding_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
       CALL set_table_property('LINEITEM', 'time_to_live_in_seconds', '31536000');
       COMMIT;

   • 將名稱為customer表在ClickHouse實(shí)例中的DDL轉(zhuǎn)換為Hologres的建表DDL。

     • ClickHouse實(shí)例的建表DDL如下所示。

       -- customer on ClickHouse
       CREATE TABLE customer_local ON CLUSTER default(
         c_custkey             UInt32,
         c_name                String,
         c_address             String,
         c_nationkey           UInt32,
         c_phone               LowCardinality(String),
         c_acctbal             decimal(15,2),
         c_mktsegment          LowCardinality(String),
         c_comment             LowCardinality(String)
       ) ENGINE = MergeTree
       ORDER BY (c_custkey);
       
       CREATE TABLE customer on cluster default as customer_local
       ENGINE = Distributed(default, default, customer_local, c_custkey);

     • 轉(zhuǎn)換后Hologres實(shí)例的建表DDL如下所示。

       -- customer on Hologres
       BEGIN;
       CREATE TABLE CUSTOMER (
           C_CUSTKEY    INT    NOT NULL PRIMARY KEY,
           C_NAME       TEXT   NOT NULL,
           C_ADDRESS    TEXT   NOT NULL,
           C_NATIONKEY  INT    NOT NULL,
           C_PHONE      TEXT   NOT NULL,
           C_ACCTBAL    DECIMAL(15,2) NOT NULL,
           C_MKTSEGMENT TEXT   NOT NULL,
           C_COMMENT    TEXT   NOT NULL
       );
       CALL set_table_property('CUSTOMER', 'distribution_key', 'C_CUSTKEY');
       CALL set_table_property('CUSTOMER', 'table_group', 'lineitem_tg');
       CALL set_table_property('CUSTOMER', 'bitmap_columns', 'C_CUSTKEY,C_NATIONKEY,C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
       CALL set_table_property('CUSTOMER', 'dictionary_encoding_columns', 'C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
       CALL set_table_property('CUSTOMER', 'time_to_live_in_seconds', '31536000');
       COMMIT;

5. 在PSQL客戶端使用如下命令語句將轉(zhuǎn)換后的建表DDL導(dǎo)入到目標(biāo)Hologres實(shí)例中。

   PGUSER="<username>" PGPASSWORD="<password>" psql -h "<host>" -p "<port>" -d "<database_name>" -f table.sql;

數(shù)據(jù)遷移

在源實(shí)例將數(shù)據(jù)導(dǎo)出為文件，再導(dǎo)入目標(biāo)Hologres實(shí)例，操作步驟如下。

1. 在ClickHouse-Client使用如下命令語句導(dǎo)出源實(shí)例數(shù)據(jù)至本地CSV文件。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>"  --query="select * from <database_name>.<table_name> FORMAT CSV"  > table.csv;

   參數(shù)說明如下。

   參數(shù)	說明
   host	ClickHouse源實(shí)例的地址。
   port	ClickHouse源實(shí)例的端口。
   username	登錄ClickHouse源實(shí)例的賬號(hào)，擁有DML讀寫和設(shè)置權(quán)限，允許DDL權(quán)限。
   password	登錄ClickHouse源實(shí)例賬號(hào)的密碼。
   database_name	ClickHouse源實(shí)例遷移表所在的數(shù)據(jù)庫名稱。
   table_name	ClickHouse源實(shí)例遷移的表名稱。

2. 在PSQL客戶端使用如下命令語句將本地CSV文件導(dǎo)入到Hologres實(shí)例。

   PGUSER="<username>" PGPASSWORD="<password>" psql -h "<host>" -p "<port>" -d "<database_name>" -c "COPY <schema_name>.<table_name> FROM STDIN (FORMAT 'csv')" < table.csv;

   參數(shù)說明如下。

   參數(shù)	說明
   username	登錄Hologres目標(biāo)實(shí)例的賬號(hào)，擁有DML讀寫和設(shè)置權(quán)限，允許DDL權(quán)限。通常是阿里云賬號(hào)的AccessKey ID，您可以單擊AccessKey 管理，獲取AccessKey ID。
   password	登錄Hologres目標(biāo)實(shí)例賬號(hào)的密碼，通常是阿里云賬號(hào)的AccessKey Secret，您可以單擊AccessKey 管理，獲取AccessKey Secret。
   host	Hologres實(shí)例的服務(wù)器地址。 您可以登錄管理控制臺(tái)，進(jìn)入實(shí)例詳情頁，從網(wǎng)絡(luò)信息獲取。
   port	Hologres實(shí)例的端口。 您可以登錄管理控制臺(tái)，進(jìn)入實(shí)例詳情頁，從網(wǎng)絡(luò)信息獲取。
   database_name	遷移到Hologres實(shí)例的數(shù)據(jù)庫名稱。
   schema_name	遷移到Hologres實(shí)例的Schema名稱，不填默認(rèn)為public。
   table_name	遷移到Hologres實(shí)例的表名稱。

3. 在Hologres中查詢導(dǎo)入數(shù)據(jù)，驗(yàn)證數(shù)據(jù)是否導(dǎo)入成功。

ClickHouse離線整庫同步

可以通過DataWorks數(shù)據(jù)集成同步解決方案將ClickHouse整個(gè)數(shù)據(jù)庫的數(shù)據(jù)離線同步至Hologres，詳情請(qǐng)參見ClickHouse整庫數(shù)據(jù)離線同步至Hologres。

數(shù)據(jù)查詢語句遷移

Hologres的數(shù)據(jù)查詢語句采用PostgreSQL語法，ClickHouse為自創(chuàng)語法，部分兼容SQL ANSI，兩者語法基本類似，但有細(xì)節(jié)上的差異。所以需要對(duì)數(shù)據(jù)查詢語句進(jìn)行遷移，常見的是SQL中使用函數(shù)名的遷移，例如Scalar函數(shù)、Window函數(shù)等。

函數(shù)兼容

Hologres與Clickhouse存在大量語法一致的基礎(chǔ)函數(shù)。針對(duì)其他Clickhouse函數(shù)，Hologres支持部分函數(shù)或其同語義函數(shù)。具體函數(shù)兼容情況請(qǐng)參見Clickhouse兼容函數(shù)。