概述

通過(guò)結(jié)構(gòu)（Schema）變更操作來(lái)修改已存在表的結(jié)構(gòu)（Schema），支持以下幾種修改方式。

• 增加、刪除列。

• 修改列類型。

• 調(diào)整列順序。

• 增加、修改BloomFilter Index。

• 增加、刪除Bitmap Index。

名詞解釋

• BASE Table：基表。每一個(gè)表被創(chuàng)建時(shí)，都對(duì)應(yīng)一個(gè)基表。

• ROLLUP：上卷表。基于基表或者其他ROLLUP創(chuàng)建出來(lái)的上卷表。

• Index：物化索引。ROLLUP或BASE Table都被稱為物化索引。

• Transaction：事務(wù)。每一個(gè)導(dǎo)入任務(wù)都是一個(gè)事務(wù)，每個(gè)事務(wù)有一個(gè)唯一遞增的Transaction ID。

基本原理

執(zhí)行Schema變更的基本過(guò)程，是通過(guò)原Index的數(shù)據(jù)，生成一份新Schema的Index數(shù)據(jù)。主要進(jìn)行兩部分?jǐn)?shù)據(jù)轉(zhuǎn)換，一是已存在的歷史數(shù)據(jù)的轉(zhuǎn)換，二是在Schema變更執(zhí)行過(guò)程中，新導(dǎo)入數(shù)據(jù)的轉(zhuǎn)換。

+----------+
| Load Job |
+----+-----+
     |
     | Load job generates both origin and new index data
     |
     |      +------------------+ +---------------+
     |      | Origin Index     | | Origin Index  |
     +------> New Incoming Data| | History Data  |
     |      +------------------+ +------+--------+
     |                                  |
     |                                  | Convert history data
     |                                  |
     |      +------------------+ +------v--------+
     |      | New Index        | | New Index     |
     +------> New Incoming Data| | History Data  |
            +------------------+ +---------------+

在開(kāi)始轉(zhuǎn)換歷史數(shù)據(jù)前，SelectDB會(huì)獲取一個(gè)最新的Transaction ID。并等待這個(gè)Transaction ID之前的所有導(dǎo)入事務(wù)完成。這個(gè)Transaction ID稱為分水嶺。SelectDB保證在分水嶺之后的所有導(dǎo)入任務(wù)，都會(huì)同時(shí)為原Index和新Index生成數(shù)據(jù)。因此當(dāng)歷史數(shù)據(jù)轉(zhuǎn)換完成后，SelectDB可以保證新的Index中的數(shù)據(jù)是完整的。

創(chuàng)建變更作業(yè)

該語(yǔ)句用于對(duì)已有Table進(jìn)行Schema變更操作。Schema變更是異步的，任務(wù)提交成功則返回結(jié)果，提交任務(wù)后可使用SHOW ALTER TABLE COLUMN;命令查看執(zhí)行進(jìn)度。

語(yǔ)法

ALTER TABLE [database.]table <alter_clause>;

Schema變更的<alter_clause>支持如下幾種修改方式。

• 向指定index的指定位置添加一列。

  ADD COLUMN column_name column_type [KEY | agg_type] [DEFAULT "default_Value"]
  [AFTER column_name|FIRST]
  [TO rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  說(shuō)明

  • 聚合模型如果增加Value列，需要指定agg_type。

  • 非聚合模型（如DUPLICATE Key）如果增加Key列，需要指定KEY關(guān)鍵字。

  • 不能在ROLLUP index中增加BASE index中已經(jīng)存在的列（如果需要在ROLLUP index 中增加BASE index，可以重新創(chuàng)建一個(gè)ROLLUP index）。

• 向指定Index添加多列。

  ADD COLUMN (column_name1 column_type [KEY | agg_type] DEFAULT "default_Value", ...)
  [TO rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  說(shuō)明

  • 聚合模型如果增加Value列，需要指定agg_type。

  • 聚合模型如果增加key列，需要指定KEY關(guān)鍵字。

  • 不能在ROLLUP index中增加BASE index中已經(jīng)存在的列（如果需要在ROLLUP index 中增加BASE index，可以重新創(chuàng)建一個(gè)ROLLUP index）。

• 從指定Index中刪除一列。

  DROP COLUMN column_name[FROM rollup_index_name]

  說(shuō)明

  • 不能刪除分區(qū)列。

  • 如果是從BASE index中刪除列，則如果ROLLUP index中包含該列，也會(huì)被刪除。

• 修改指定Index的列類型以及列位置。

  MODIFY COLUMN column_name column_type [KEY | agg_type] [NULL | NOT NULL] [DEFAULT "default_Value"]
  [AFTER column_name|FIRST]
  [FROM rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  說(shuō)明

  • 聚合模型如果修改Value列，需要指定agg_type。

  • 非聚合類型如果修改Key列，需要指定KEY關(guān)鍵字。

  • 只能修改列的類型，列的其他屬性維持原樣（其他屬性需要在修改語(yǔ)句中和原屬性保持一致，詳情請(qǐng)參見(jiàn)示例）。

  • 分區(qū)列和分桶列不能做任何修改。

  • 目前支持以下類型的轉(zhuǎn)換（需自行確保精度不會(huì)喪失）：

    • TINYINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT和DOUBLE類型向范圍更大的數(shù)字類型轉(zhuǎn)換。

    • TINTINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT、DOUBLE和DECIMAL轉(zhuǎn)換成VARCHAR類型。

    • VARCHAR類型支持修改最大長(zhǎng)度。

    • VARCHAR類型或CHAR類型轉(zhuǎn)換成TINTINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT和DOUBLE類型。

    • VARCHAR類型和CHAR類型轉(zhuǎn)換成DATE類型（目前支持"%Y-%m-%d"，"%y-%m-%d"，"%Y%m%d"，"%y%m%d"，"%Y/%m/%d，"%y/%m/%d"六種格式化格式）。

    • DATETIME類型轉(zhuǎn)換成DATE類型（僅保留年-月-日信息，例如:2019-12-09 21:47:05<-->2019-12-09）。

    • DATE類型轉(zhuǎn)換成DATETIME類型（時(shí)分秒自動(dòng)補(bǔ)零，例如:2019-12-09<-->2019-12-09 00:00:00）。

    • FLOAT類型轉(zhuǎn)換成DOUBLE類型。

    • INT類型轉(zhuǎn)換成DATE類型（如果INT類型數(shù)據(jù)不合法則轉(zhuǎn)換失敗，原始數(shù)據(jù)不變）。

    • 除DATE類型與DATETIME類型以外都可以轉(zhuǎn)換成STRING類型，但是STRING類型不能轉(zhuǎn)換任何其他類型。

• 對(duì)指定Index的列進(jìn)行重新排序。

  ORDER BY (column_name1, column_name2, ...)
  [FROM rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  說(shuō)明

  • Index中的所有列都要指明。

  • Value列在Key列之后。

查看變更作業(yè)

查看變更作業(yè)，查看正在執(zhí)行或已經(jīng)完成的Schema變更作業(yè)。當(dāng)一次Schema變更作業(yè)涉及到多個(gè)Index 時(shí)，該命令會(huì)顯示多行，每行對(duì)應(yīng)一個(gè)Index。

語(yǔ)法

SHOW ALTER TABLE COLUMN;

示例

SHOW ALTER TABLE COLUMN\G;
*************************** 1. row ***************************
        JobId: 20021
    TableName: tbl1
   CreateTime: 2019-08-05 23:03:13
   FinishTime: 2019-08-05 23:03:42
    IndexName: tbl1
      IndexId: 20022
OriginIndexId: 20017
SchemaVersion: 2:792557838
TransactionId: 10023
        State: FINISHED
          Msg: 
     Progress: NULL
      Timeout: 86400
1 row in set (0.00 sec)

各個(gè)列代表的含義如下

取消變更作業(yè)

取消變更作業(yè)，在作業(yè)狀態(tài)不為FINISHED或CANCELLED的情況下，可以通過(guò)以下命令取消Schema變更作業(yè)。

語(yǔ)法

CANCEL ALTER TABLE COLUMN FROM <tbl_name>;

參數(shù)說(shuō)明

示例

撤銷針對(duì)示例表example_db.my_table的ALTER COLUMN操作。

CANCEL ALTER TABLE COLUMN FROM example_db.my_table;

相關(guān)配置?

FE配置??

• alter_table_timeout_second：作業(yè)默認(rèn)超時(shí)時(shí)間，默認(rèn)為86400秒。

BE配置?

• alter_tablet_worker_count：在BE端用于執(zhí)行歷史數(shù)據(jù)轉(zhuǎn)換的線程數(shù)，默認(rèn)為3。如果希望加快Schema變更作業(yè)的速度，可以適當(dāng)調(diào)大這個(gè)參數(shù)后重啟BE。但過(guò)多的轉(zhuǎn)換線程可能會(huì)導(dǎo)致IO壓力增加，影響其他操作。該線程和ROLLUP作業(yè)共用。

• alter_index_worker_count：在BE端用于執(zhí)行歷史數(shù)據(jù)構(gòu)建索引的線程數(shù)。默認(rèn)為3。如果希望加快Index變更作業(yè)的速度，可以適當(dāng)調(diào)大這個(gè)參數(shù)后重啟BE。但過(guò)多的線程可能會(huì)導(dǎo)致IO壓力增加，影響其他操作。

  說(shuō)明

  該參數(shù)只支持倒排索引。

常見(jiàn)問(wèn)題?

• Q：Schema變更的執(zhí)行速度。

  A：目前Schema變更執(zhí)行速度按照最差效率估計(jì)約為10MB/s。可以根據(jù)這個(gè)速率來(lái)設(shè)置作業(yè)的超時(shí)時(shí)間。

• Q：提交作業(yè)報(bào)錯(cuò)Table xxx is not stable. ...。

  A：Schema變更只有在表數(shù)據(jù)完整且未進(jìn)行均衡操作的狀態(tài)下才可以開(kāi)始。如果表的某些數(shù)據(jù)分片副本不完整，或者某些副本正在進(jìn)行均衡操作，則提交會(huì)被拒絕。

  數(shù)據(jù)分片副本是否完整，可以通過(guò)以下命令查看：

  ADMIN SHOW REPLICA STATUS FROM tbl WHERE STATUS != "OK";

  如果有返回結(jié)果，則說(shuō)明有副本有問(wèn)題。通常系統(tǒng)會(huì)自動(dòng)修復(fù)這些問(wèn)題，也可以通過(guò)以下命令優(yōu)先修復(fù)這個(gè)表。

  ADMIN REPAIR TABLE tbl1;

  或者可以通過(guò)以下命令查看是否有正在運(yùn)行的均衡任務(wù)：

  SHOW PROC "/cluster_balance/pending_tablets";

  可以等待均衡任務(wù)完成，或者通過(guò)以下命令臨時(shí)禁止均衡操作：

  ADMIN SET FRONTEND CONFIG ("disable_balance" = "true");