Table Group與Shard Count設置建議

權限說明

• 新建Table Group、修改默認Table Group、刪除Table Group、遷移表的Table Group（Resharding）需要實例的Superuser賬號進行操作。使用Superuser賬號執行如下語句為普通用戶授予Superuser權限。

  --將“云賬號ID”替換為實際用戶名。如果是RAM用戶，賬號ID前需要添加“p4_”。
  ALTER USER "云賬號ID" SUPERUSER; 

• 將新建表放入指定Table Group操作需要賬號有新建表權限。

獲取Table Group元數據

1. 查看默認Table Group

   SELECT * FROM hologres.hg_table_group_properties
   WHERE tablegroup_name IN (
     SELECT tablegroup_name FROM hologres.hg_table_group_properties
     WHERE property_key = 'is_default_tg' AND property_value = '1'
   );

   結果：

   說明

   結果中is_default_tg代表為默認Table Group，shard_count代表Table Group對應的Shard數。

   tablegroup_name |   property_key   | property_value
   -----------------+------------------+----------------
    test_tg_default | tg_version       | 1
    test_tg_default | table_num        | 1               
    test_tg_default | is_default_tg    | 1               
    test_tg_default | shard_count      | 3
    test_tg_default | replica_count    | 1
    test_tg_default | created_manually | 0
   (6 rows)

2. 查看當前數據庫有哪些Table Group

   SELECT tablegroup_name
   FROM hologres.hg_table_group_properties GROUP BY tablegroup_name;

   結果：

   tablegroup_name
   -----------------
    test_tg_default
   (1 row)

3. 查看某Table Group設置的Shard數

   SELECT property_value AS shard_count
   FROM hologres.hg_table_group_properties
   WHERE property_key = 'shard_count' AND tablegroup_name ='<tg_name>';

   結果：

   shard_count
   -------------
    3
   (1 row)

4. 查看某Table Group下有哪些表

   SELECT table_namespace AS schema_name, table_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND property_value = '<tg_name>';

   結果：

   schema_name | table_name
   -------------+------------
    public      | a
   (1 row)

5. 查看某張表所在的Table Group

   SELECT property_value AS table_group_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND table_name = '<table_name>';

   結果：

   table_group_name
   ------------------
    test_tg_default
   (1 row)

新建Table Group

CALL HG_CREATE_TABLE_GROUP ('<new_tg_name>', <shard_count>);

-- 新建一個Shard數為8的新Table Group，命名為tg_8
CALL HG_CREATE_TABLE_GROUP ('tg_8', 8);

修改默認Table Group

新建一個數據庫后，實例會有一個默認Table Group，以及默認的Shard數。詳情請參見實例規格概述。若是數據庫中有多個Table Group，想要修改默認Table Group，使得后續新建的表存放于新的Table Group中，可以使用如下命令語句。

CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', '<tg_name>');

參數說明：

使用示例：

-- 將新創建TG設為默認Table Group，后續新建的表，將默認使用新的Table Group (v0.9及以上版本）
CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', 'tg_8');

將新建表放入指定Table Group

BEGIN;
CREATE TABLE table_name (
    col type,
  ....
);
CALL SET_TABLE_PROPERTY('table_name', 'table_group', '<tg_name>');
COMMIT;

-- 新建表tbl1并直接關聯名為tg_8的Table Group
BEGIN;
CREATE TABLE tbl1 (
    col1 text
);
CALL SET_TABLE_PROPERTY('tbl1', 'table_group', 'tg_8');
COMMIT;

（Resharding）遷移表至新建Table Group

在Hologres中，Shard用于提升數據處理的并發度，合理的設置Shard數，有利于提高查詢或者寫入的性能。一般情況下，Hologres實例默認的shard數已經能滿足大部分場景，無需再手動修改。

當實例擴容后，例如32core擴容到128core，該數據庫的Shard數不會隨著擴容默認更改，因此建議您針對該數據庫增加Shard數，以獲取更好的性能。如果是該實例下新建的DB，其Shard數為當前規格的默認數量。實例規格與Shard的相關描述，請參見實例規格概述。

當實例擴容或者縮容后，其之前DB的Shard數不會自動隨之增加或減少，需要通過命令語句設置Shard數，并重新進行數據導入。Resharding功能用于修改Shard數后，自動實現Rebalance的功能，無需再重新建表導數據，即可將原來的表和數據Resharding到各Shard上，簡化操作步驟，實現最優性能。

• 使用限制

  • 僅Hologres V0.10及以上版本支持Resharding，請前往Hologres管控臺的實例詳情頁查看當前實例版本，如果您的實例是V0.10以下版本，請您使用自助升級或加入Hologres釘釘交流群反饋，詳情請參見如何獲取更多的在線支持？。

  • 目前Resharding是單表級別，當使用Resharding時，需要停止該表的寫入（如Flink、數據集成等寫入），對表的查詢不受影響。V1.1 版本開始，支持set table readonly，實時任務寫入自動Failover。

  • Resharding會消耗CPU資源，且在Resharding過程中會導致存儲增加，建議在業務低峰期處理。

  • 如果表開啟了Binlog，請在Resharding之前關掉Binlog，待Resharding完成后再開啟Binlog，詳細操作請參見訂閱Hologres Binlog。

  • 暫不支持表字段帶有Serial自增序列以及Default值進行Resharding，帶Serial字段的表在Resharding時會報錯，帶Default字段的表Resharding后會丟失Default屬性。

  • 表在Resharding時不能有其他的依賴比如view等，若存在請在Resharding前刪除相關依賴，否則會報錯“ERROR: resharding table xxx can not executed because other objects depend on it.”。

  • 自Hologres V2.2.29版本開始，支持對有View依賴的表執行Resharding。

  • Resharding只適用簡單模型，不適用于專家模型。關于Hologres權限模型介紹，詳情請參見Hologres權限模型概述。

  • Resharding暫不保留表的動態分區屬性。

  • 僅Hologres V2.0及以上版本的Resharding操作支持保留列COMMENTS。如果您的實例版本低于V2.0，請提前備份列COMMENTS，并在Resharding完成后手動設置。

• 語法示例

  • 如果您的實例為V2.0.24及以上版本，推薦使用HoloWeb進行Resharding操作，詳情請參見Table Resharding。

  • 如果您的實例版本低于V2.0.24，可以通過以下命令將業務的部分表遷移至新建的Table Group。如果實例版本低于V0.10，請先升級到更高版本。

  說明

  • 在遷移之前，需要有一個新建的Table Group，若是沒有新建Table Group，請參見新建Table Group進行新建。

  • 表遷移時需要停止對該表的寫入，查詢不受影響。

  • 原Table Group的表全部遷移后，原Table Group將會被自動刪除。若是因為業務需求需要建立多個Table Group，建議合理設置每個Table Group的Shard數。

  • 表遷移時分區表只需要操作父表即可。

  -- V1.1及以上版本命令語法
  CALL HG_MOVE_TABLE_TO_TABLE_GROUP('<table_name>','<new_table_group_name>');
  
  -- V0.10版本命令語法
  CALL HG_UPDATE_TABLE_SHARD_COUNT('<table_name>','<new_table_group_name>');

• 參數說明

  參數	說明	示例
  table_name	需要遷移的表名。一次命令僅支持單表遷移，若是有多個表，需要多次執行。分區表只需要操作父表即可。	new_table
  table_group_name	新的Table Group名。	new_tg

• 異常處理

  Table Resharding過程中，會先將表設為只讀狀態，而后通過臨時表的方式進行Table Group遷移。由于Resharding任務涉及數據導入，可能需要執行較長時間，因此可能會出現多種異常情況，如OOM、手動終止任務等，此時原表會仍處于只讀狀態，且數據庫中出現名為<initial_table_name>_xxxxxxxx的臨時表，此時需要根據如下情況進行操作：

  • Hologres實例版本低于 V2.0.24，請升級實例或提交工單解決，升級實例請參見實例升級。

  • Hologres實例版本為 V2.0.24及以上：

    • 如果您通過HoloWeb進行Resharding操作，請單擊繼續運行或取消任務，詳情請參見Table Resharding。

    • 如果您通過執行上述命令進行Resharding操作，請按以下步驟操作：

      1. 如果您希望繼續對該表進行Resharding：對中斷原因進行處理后，重新對該表運行HG_MOVE_TABLE_TO_TABLE_GROUP命令即可。

      2. 如果您希望取消Resharding并恢復初始狀態：請依次運行如下命令進行恢復：

         -- 取消原表的readonly屬性
         CALL set_table_property('<schema_name>.<table_name>','readonly','false');
         
         -- 清理臨時表
           -- 獲取臨時表名（分區表）
         SELECT schema_name,target_temp_table_name FROM hologres.hg_resharding_properties WHERE reshard_table_name = <schema_name>.<table_name> AND is_parent_table IS TRUE;
           -- 獲取臨時表名（非分區表）
         SELECT schema_name,target_temp_table_name FROM hologres.hg_resharding_properties WHERE reshard_table_name = <schema_name>.<table_name> AND is_parent_table IS FALSE AND is_sub_table IS FALSE;
           -- 清理臨時表
         DROP TABLE IF EXISTS <schema_name>.<target_temp_table_name>;
         
         -- 清理系統表。系統表中會記錄當前表的Resharding進度，如果希望取消任務，需要清理系統表中的對應數據
         CALL hologres.hg_internal_clear_resharding_properties('<schema_name>.<table_name>'); 

刪除Table Group

CALL HG_DROP_TABLE_GROUP('<tg_name>');

--刪除名為tg_8的Table Group
CALL HG_DROP_TABLE_GROUP('tg_8');

查看Shard與Worker的傾斜關系

Shard數與Worker個數存在一定的分配關系，詳情請參見Shard與計算節點Worker的關系。如果Worker個數與Shard分配不均，那么很容易出現Worker資源傾斜，導致負載不均，資源得不到高效利用。因此在Hologres V1.3版本提供worker_info系統視圖，用于查詢當前數據庫的Worker、Table Group和Shard之間的關系，從而幫助排查解決傾斜問題，詳細的Worker資源傾斜排查請參見查看Worker傾斜關系。

使用最佳實踐

Table Group是比較高級的功能，一般情況下，不建議業務新建Table Group以及修改Shard數。若是因為業務有不同的需求，可以按照最佳實踐合理規劃，詳情請參見Table Group設置最佳實踐。

常見問題

Resharding是個比較復雜的過程，涉及到創建臨時表、修改原始表只讀狀態、寫入目標表、更換表名稱和記錄同步狀態等多個環節，如果中間環節因為某些原因出現異常，可能造成系統狀態不確定等問題，可通過以下方法進行排查。