復雜分區表達式

假設示例表my_ts_tbl的表結構如下：

+------------+-------------+---------+----------------+
| TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+------------+-------------+---------+----------------+
| my_ts_tbl  | id          | INT     | true           |
| my_ts_tbl  | ts          | LONG    | true           |
| my_ts_tbl  | col0        | VARCHAR | false          |
| my_ts_tbl  | col1        | INT     | false          |
+------------+-------------+---------+----------------+

在創建列存索引時，若寬表數據的主鍵字段不能直接作為列存索引的普通分區表達式，可以在普通分區表達式中包含計算邏輯，示例如下。

• 對寬表所有字段創建列存索引，將列存索引數據按時間戳字段ts按天分區：

  CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)
  PARTITION BY ENUMERABLE (ifnull(substring(from_unixtime(ts), 0, 10), 'unknown') AS dt, bucket(128, id))
  WITH (`lindorm_columnar.user.index.database` = 'my_ts_index_db',
        `lindorm_columnar.user.index.table` = 'my_ts_index_tbl');

• 列存索引創建完成后，您可以在查詢語句中指定過濾條件并查詢列存索引中的數據。

  SELECT /*+ _use_ldps_ */ COUNT(1)
  FROM lindorm_columnar.my_ts_index_db.my_ts_index_tbl
  WHERE dt = '2020-06-06';

僅為增量數據構建列存索引

如果您需要跳過寬表中的存量數據，只為增量數據構建列存索引，可以指定參數lindorm_columnar.user.syncer.skip.fullsync = 'true'，示例如下：

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(*)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (`lindorm_columnar.user.index.database` = 'my_index_db',
      `lindorm_columnar.user.index.table` = 'my_index_tbl',
      `lindorm_columnar.user.syncer.skip.fullsync` = 'true');

JSON字段展開存儲

列存索引支持在數據同步時，將JSON類型的字段展開存儲，支持靜態展開存儲與動態展開存儲兩種方式。

假設示例表my_json_tbl的表結構如下：

+-------------+-------------+--------+----------------+
| TABLE_NAME  | COLUMN_NAME |  TYPE  | IS_PRIMARY_KEY |
+-------------+-------------+--------+----------------+
| my_json_tbl | id          | BIGINT | true           |
| my_json_tbl | col1        | INT    | false          |
| my_json_tbl | json_col    | JSON   | false          |
+-------------+-------------+--------+----------------+

執行以下語句插入JSON數據：

UPSERT INTO my_json_tbl (id,col1,json_col) VALUES(2,2,'{"a": {"b": {"c": "hello,world", "d": 123}, "e": false }, "f": 3.14}');

json_col的結構如下：

{
  "a": {
    "b": {
      "c": "hello,world",
      "d": 123
    },
    "e": false
  },
  "f": 3.14
}

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN ,f DOUBLE',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.dynamicJsonColumns` = 'json_col',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

當您為JSON字段配置為靜態展開存儲或者動態展開存儲后，原始JSON字段將不會存儲到列存表中。同時，列存表存儲的JSON展開名會以其對應JSON字段名為前綴。

例如當您通過`lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN'，為列存索引指定JSON靜態展開存儲后。此時列存表中將不會有名為json_col的列，而會有以下列：

• 名為json_col.a.b.c的列：類型為STRING，存儲json_col字段中a.b.c的值。

• 名為json_col.a.e的列：類型為BOOLEAN，存儲json_col字段中a.e的值。

如果您仍希望同步原始JSON字段，或不期望列存表存儲的JSON展開字段名以對應JSON字段名為前綴，可以通過以下方式實現：

表結構變更動態感知（公測中）

列存索引可以在數據同步時，動態感知數據表的表結構變更，并影響列存表的表結構。在創建列存索引時，您可以指定`lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true'，來定義列存表結構與主表結構保持一致。示例如下：

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(*) 
PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl',
  `lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true');

為列存表添加列（公測中）

創建列存索引后，您可以通過ALTER INDEX語法為列存索引添加字段而無需重建索引，支持為列存索引添加普通字段或者JSON字段靜態展開的Mapping列。

假設表my_json_tbl的結構如下：

+-------------+-------------+---------+----------------+
|  TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+-------------+-------------+---------+----------------+
| my_json_tbl | id          | BIGINT  | true           |
| my_json_tbl | col1        | INT     | false          |
| my_json_tbl | col2        | VARCHAR | false          |
| my_json_tbl | json_col1   | JSON    | false          |
| my_json_tbl | json_col2   | JSON    | false          |
+--------------+-------------+---------+----------------+

您可以通過以下SQL語句創建列存索引：

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(id, col1, json_col1) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col1` = 'a.b.c VARCHAR, a.e BOOLEAN',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

此時，在列存表中未包含 col2、json_col2相關的列。您可以通過以下語句為列存索引添加普通字段：

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl ADD COLUMNS(col2);

您也可以通過以下語句為列存索引添加JSON字段的靜態映射規則：

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl
ADD COLUMNS (
  json_extract_long(json_col2, '$.key1'),
  json_extract_boolean(json_col2, '$.key2'),
  json_extract_double(json_col2, '$.key3.key4')
);