6.0版實例

• 支持將單個熱表轉(zhuǎn)為冷表。

• 支持將分區(qū)表的部分子分區(qū)轉(zhuǎn)為冷分區(qū)，暫不支持將整個分區(qū)表父表轉(zhuǎn)為冷表。

• 熱表或者熱分區(qū)轉(zhuǎn)冷會建立臨時表存放臨時數(shù)據(jù)，轉(zhuǎn)冷結(jié)束會自動清除。請確保各個segment節(jié)點上磁盤剩余空間大于當前正在轉(zhuǎn)冷的熱表空間之和。

• 熱表轉(zhuǎn)為冷表后，原表上關(guān)聯(lián)的主鍵、索引、序列、rule、注釋等會自動被刪除，且無法找回。

• 暫不支持將冷表或者冷分區(qū)直接轉(zhuǎn)熱，可以通過CREATE TABLE AS SELECT的方式將冷數(shù)據(jù)存儲至本地磁盤。

• 冷表或者冷分區(qū)的數(shù)據(jù)處于只讀狀態(tài)，不支持修改（寫入、刪除、更新），或者任何DDL操作（ALTER COLUMN、DROP COLUMN等）。冷表支持刪除（DROP TABLE）。

• 冷表的底層存儲格式類似于AOCS表，自帶壓縮，所占空間會與原表大致相等。

• 冷表不支持索引。

7.0版實例

• 支持將單個熱表轉(zhuǎn)為冷表。

• 支持將分區(qū)表的部分子分區(qū)轉(zhuǎn)為冷分區(qū)，暫不支持將整個分區(qū)表父表轉(zhuǎn)為冷表。

• 熱表轉(zhuǎn)為冷表后，原表上關(guān)聯(lián)的主鍵、索引、序列、rule、注釋等會自動被刪除，且無法找回。

• 暫不支持將冷表或者冷分區(qū)直接轉(zhuǎn)熱，可以通過CREATE TABLE AS SELECT的方式將冷數(shù)據(jù)存儲至本地磁盤。

• 冷表或者冷分區(qū)的數(shù)據(jù)允許讀取和追加寫入，不支持修改（刪除和更新），或者任何DDL操作（ALTER COLUMN、DROP COLUMN等）。冷表支持刪除（DROP TABLE）。

• 對于帶主鍵或者唯一索引的分區(qū)表，其子表暫不支持轉(zhuǎn)為冷表。帶有普通類型的索引的分區(qū)表則不受限制，其子表可以轉(zhuǎn)化為冷表。

• 冷表在OSS所占空間會與原表大致相等或略小。

• 冷表不支持索引。

6.0版實例

普通表整表轉(zhuǎn)冷

語法

ALTER TABLE <tableName> SET ttl interval '<scheduling_interval>' move to storage_cold;

示例

創(chuàng)建一個普通表tiered_storage_heap并插入數(shù)據(jù)。

CREATE TABLE tiered_storage_heap (a int, b int);
INSERT INTO tiered_storage_heap SELECT random() * 1000,1 FROM generate_series(1,1000);

• 示例一：指定三天后（3days）將普通表tiered_storage_heap轉(zhuǎn)冷。例如，2023年07月17日09:00:00執(zhí)行ALTER TABLE操作，那么三天后（2023年07月20日09:00:00）會將tiered_storage_heap整表轉(zhuǎn)冷。

  ALTER TABLE tiered_storage_heap SET ttl interval '3days' move to storage_cold;

• 示例二：指定任意時間點（2023年07月28日 16:53:58）將普通表tiered_storage_heap轉(zhuǎn)冷。

  ALTER TABLE tiered_storage_heap SET ttl '2023-07-28 16:53:58'::Timestamp move to storage_cold;

• 示例三：將轉(zhuǎn)冷時間點設(shè)為過去的時間點，可以立刻對表進行轉(zhuǎn)冷。

  • 指定轉(zhuǎn)冷時間點為三天前（-3days）。執(zhí)行如下命令，對表立刻轉(zhuǎn)冷。

    ALTER TABLE tiered_storage_heap SET ttl interval '-3days' move to storage_cold;

  • 指定過去的具體時間點。若當前時間為2023年07月17日16:53:58，您可以執(zhí)行如下命令，對表立刻轉(zhuǎn)冷。

    ALTER TABLE tiered_storage_heap SET ttl '2022-07-16 16:53:58'::Timestamp move to storage_cold;

分區(qū)表按子分區(qū)轉(zhuǎn)冷

語法

ALTER TABLE <分區(qū)子表名> SET ttl interval '<scheduling_interval>' move to storage_cold;

您可以使用psql執(zhí)行\d+查看具體分區(qū)表的子表名。

示例

創(chuàng)建一個分區(qū)表tiered_storage_partition_hdfs。

CREATE TABLE tiered_storage_partition_hdfs(a int,b int) distributed by (a) partition by range(a) (start(1) end(20) every(10));

向分區(qū)子表tiered_storage_partition_hdfs_1_prt_1中插入數(shù)據(jù)。

INSERT INTO tiered_storage_partition_hdfs_1_prt_1 values(1, 1), (2, 2), (3, 3), (4, 4);

指定三天后將分區(qū)子表tiered_storage_partition_hdfs_1_prt_1轉(zhuǎn)冷。例如，2023年07月17日09:00:00執(zhí)行ALTER TABLE操作，那么三天后（2023年07月20日09:00:00）會將tiered_storage_partition_hdfs_1_prt_1子分區(qū)整表轉(zhuǎn)冷，其他分區(qū)均不會有任何遷移操作。

ALTER TABLE tiered_storage_partition_hdfs_1_prt_1 SET ttl interval '3days' move to storage_cold;

查詢指定表的冷熱狀態(tài)

您可以選擇任意一種方式查詢表的冷熱狀態(tài)。冷表返回cold，熱表返回hot。

• 方式一：

  SELECT pg_tiered_storage_relation_status('<table_name>'::regclass::oid::bigint);

• 方式二：

  SELECT pg_tiered_storage_relation_status(<表的oid>::bigint);

  通過SELECT oid FROM pg_class where relname='<table_name>';查詢表的oid。

7.0版實例

普通表整表轉(zhuǎn)冷

語法

SELECT pg_tiered_storage_move_table_to_storage_cold('<schema_name>', '<table_name>');

示例

在public的Schema中創(chuàng)建一個普通表tiered_storage_heap_oss并插入數(shù)據(jù)。

CREATE TABLE tiered_storage_heap_oss (a int, b int) DISTRIBUTED BY(a) ;
INSERT INTO  tiered_storage_heap_oss SELECT random() * 1000,1 FROM generate_series(1,100);

• 示例一：整表立即轉(zhuǎn)冷。

  執(zhí)行以下語句，將普通表整表立即轉(zhuǎn)冷。

  SELECT pg_tiered_storage_move_table_to_storage_cold('public', 'tiered_storage_heap_oss');

• 示例二：使用pg_cron設(shè)置整表定時轉(zhuǎn)冷。

  假設(shè)執(zhí)行用戶為etl_user，將數(shù)據(jù)庫etl中的普通表tiered_storage_heap_oss，設(shè)置在次日凌晨1點將普通表轉(zhuǎn)冷。連接到postgres數(shù)據(jù)庫，執(zhí)行以下語句。

  SELECT cron.schedule('etl_table_transfer_to_cold', '0 1 * * *', 'SELECT pg_tiered_storage_move_table_to_storage_cold('public', 'tiered_storage_heap_oss');', 'etl', 'etl_user');

  次日凌晨1點后檢查轉(zhuǎn)冷成功后，可執(zhí)行以下語句，刪除該定時任務(wù)。

  SELECT cron.unschedule(<定時任務(wù)ID>);

  說明

  定時任務(wù)ID為創(chuàng)建任務(wù)時自動生成的，可以通過查看cron.job表的jobid字段查看。

分區(qū)表按子分區(qū)轉(zhuǎn)冷

語法

SELECT pg_tiered_storage_move_table_to_storage_cold('<schema_name>', '<分區(qū)子表名>');

您可以使用psql執(zhí)行\d+查看具體分區(qū)表的子表名。

示例

• 示例一：對分區(qū)子表立即轉(zhuǎn)冷。

  在public的Schema中創(chuàng)建一個分區(qū)表tiered_storage_partition_oss。

  CREATE TABLE tiered_storage_partition_oss(a int,b int) DISTRIBUTED BY (a) PARTITION BY range(a) (start(1) end(20) every(10));

  說明

  本示例會生成2個分區(qū)子表tiered_storage_partition_oss_1_prt_1和tiered_storage_partition_oss_1_prt_2。

  向分區(qū)子表tiered_storage_partition_oss_1_prt_1中插入數(shù)據(jù)。

  INSERT INTO  tiered_storage_partition_oss_1_prt_1 VALUES(1, 1), (2, 2), (3, 3), (4, 4);

  將分區(qū)子表立即轉(zhuǎn)冷。

  SELECT pg_tiered_storage_move_table_to_storage_cold('public', 'tiered_storage_partition_oss_1_prt_1');

• 示例二：使用pg_cron設(shè)置按天分區(qū)的分區(qū)子表定時轉(zhuǎn)冷。

  在數(shù)據(jù)庫etl中創(chuàng)建按天分區(qū)的daily_log_details分區(qū)表。

  CREATE TABLE daily_log_details (id INT, log_message text, created_date character varying(64))
  PARTITION BY LIST (created_date)
  (
     PARTITION p20230601 VALUES ('20230601'),
     PARTITION p20230602 VALUES ('20230602'),
     PARTITION p20230603 VALUES ('20230603'),
     PARTITION p20230604 VALUES ('20230604'),
     PARTITION p20230605 VALUES ('20230605'),
     PARTITION p20230606 VALUES ('20230606'),
     PARTITION p20230607 VALUES ('20230607'),
     PARTITION p20230608 VALUES ('20230608'),
     PARTITION p20230609 VALUES ('20230609'),
     PARTITION p20230610 VALUES ('20230610'),
     PARTITION p20230611 VALUES ('20230611'),
     DEFAULT PARTITION others
  );

  設(shè)置將10天前的分區(qū)子表轉(zhuǎn)冷，執(zhí)行用戶為etl_user，轉(zhuǎn)冷執(zhí)行時間為3點。按照如下步驟操作。

  1. 在數(shù)據(jù)庫etl中創(chuàng)建清理函數(shù)。

     CREATE OR REPLACE FUNCTION pg_tiered_storage_move_partition_daily_table_to_cold_storage(schemaname text, tablename text) RETURNS void
     AS $$
     DECLARE
         fetch_overdue_partition_sql text;
         cold_storage_sql text;
         target record;
     BEGIN
         fetch_overdue_partition_sql := 'WITH targetpartitions AS
         (SELECT * FROM pg_partitions 
         WHERE tablename = $1
         AND schemaname = $2 
         AND partitionlevel = 1
         AND partitionisdefault = FALSE)
         SELECT partitiontablename FROM targetpartitions WHERE 
         to_date(substring(targetpartitions.partitionname FROM 2), ''YYYYMMDD'') <= current_date - INTERVAL ''10 days''';
         
         -- fetch overdue partitions
         FOR target IN EXECUTE fetch_overdue_partition_sql USING tablename, schemaname LOOP 
            cold_storage_sql := 'SELECT pg_tiered_storage_move_table_to_storage_cold($1::text, $2::text)';
            raise notice 'sql %', cold_storage_sql;
            EXECUTE cold_storage_sql USING schemaname, target.partitiontablename;
         END LOOP;
     END;
     $$
     LANGUAGE plpgsql;

  2. 連接到postgres數(shù)據(jù)庫執(zhí)行轉(zhuǎn)冷語句。

     SELECT cron.schedule('etl_daily_transfer_to_cold', '0 3 * * *', 'SELECT pg_tiered_storage_move_partition_daily_table_to_cold_storage(''public'', ''daily_log_details'');', 'etl', 'etl_user');

• 示例三：使用pg_cron設(shè)置按月分區(qū)的分區(qū)子表定時轉(zhuǎn)冷。

  在數(shù)據(jù)庫etl中創(chuàng)建按月分區(qū)的month_log_details分區(qū)表。

  CREATE TABLE month_log_details (id INT, log_message text, created_date character varying(64))
  PARTITION BY LIST (created_date)
  (
     PARTITION p202306 VALUES ('202306'),
     PARTITION p202307 VALUES ('202307'),
     PARTITION p202308 VALUES ('202308'),
     PARTITION p202309 VALUES ('202309'),
     PARTITION p202310 VALUES ('202310'),
     DEFAULT PARTITION others
  );

  設(shè)置將3個月前的分區(qū)子表轉(zhuǎn)冷，執(zhí)行用戶為etl_user，轉(zhuǎn)冷執(zhí)行時間為5點。按照如下步驟操作。

  1. 在數(shù)據(jù)庫etl中創(chuàng)建清理函數(shù)。

     CREATE OR REPLACE FUNCTION pg_tiered_storage_move_partition_table_to_cold_storage(schemaname text, tablename text) RETURNS void
     AS $$
     DECLARE
         fetch_overdue_partition_sql text;
         cold_storage_sql text;
         target record;
     BEGIN
         fetch_overdue_partition_sql := 'WITH targetpartitions AS
         (SELECT * FROM pg_partitions 
         WHERE tablename = $1
         AND schemaname = $2 
         AND partitionlevel = 1
         AND partitionisdefault = FALSE)
         SELECT partitiontablename FROM targetpartitions WHERE 
         to_date(substring(targetpartitions.partitionname FROM 2), ''YYYYMM'') <= current_date - INTERVAL ''3 months''';
         
         -- fetch overdue partitions
         FOR target IN EXECUTE fetch_overdue_partition_sql USING tablename, schemaname LOOP 
            cold_storage_sql := 'SELECT pg_tiered_storage_move_table_to_storage_cold($1::text, $2::text)';
            raise notice 'sql %', cold_storage_sql;
            EXECUTE cold_storage_sql USING schemaname, target.partitiontablename;
         END LOOP;
     END;
     $$
     LANGUAGE plpgsql;

  2. 連接到postgres數(shù)據(jù)庫執(zhí)行轉(zhuǎn)冷語句。

     SELECT cron.schedule('etl_month_transfer_to_cold', '0 5 1 * *', 'SELECT pg_tiered_storage_move_partition_table_to_cold_storage(''public'', ''month_log_details'');', 'etl', 'etl_user');

查詢指定表的冷熱狀態(tài)

執(zhí)行以下語句，查詢表的冷熱狀態(tài)。冷表返回cold，熱表返回hot。

SELECT pg_tiered_storage_table_status('<schema_name>', '<table_name>|<分區(qū)子表名>')

6.0版實例

當具備完整備份時，可以恢復(fù)到任意時間點的狀態(tài)，恢復(fù)時間點的冷熱狀態(tài)與備份時刻一致。

7.0版實例

當具備完整備份時，可以恢復(fù)到指定時間點的狀態(tài)?；謴?fù)時間點的冷熱狀態(tài)與備份時刻一致。AnalyticDB PostgreSQL 7.0版存在如下限制：

• 如果數(shù)據(jù)表轉(zhuǎn)冷后無數(shù)據(jù)寫入，可以恢復(fù)到任意時間點的狀態(tài)。

• 如果數(shù)據(jù)表轉(zhuǎn)冷后有數(shù)據(jù)寫入，可以恢復(fù)到轉(zhuǎn)冷前任何備份點的狀態(tài)，如果恢復(fù)到冷存狀態(tài)，暫時只能恢復(fù)到冷表最后一次寫入對應(yīng)的狀態(tài)。