前提條件

背景知識

• 熱數據：訪問頻次較高的數據，存儲在熱數據盤（即創建集群時所選的ESSD云盤或高效云盤）中，滿足高性能訪問的需求。

• 冷數據：訪問頻次較低的數據，存儲在較低價的冷數據盤中，滿足高性價比的存儲需求。

  冷熱數據分層存儲提供了兩種存儲策略，具體如下：

  存儲策略	詳情
  默認存儲策略	將新寫入的數據存儲在熱數據盤中，提供高效查詢。當熱數據存儲量達到業務使用閾值時，自動將當前熱數據盤中占用空間最大的part數據文件移動到冷數據盤存儲，從而釋放熱數據盤存儲空間。
  TTL存儲策略	在默認存儲策略基礎上，添加TTL語句，實現將間隔時間之前的所有數據自動轉移到冷數據盤中。

注意事項

• 開通冷熱數據分層存儲功能，請在業務低峰期進行。開通該功能后集群會立即進行重啟，重啟期間只能查看集群信息，無法進行升配、擴容、縮容、修改參數配置等操作。

• 使用冷熱數據分層存儲功能時，需要給表指定存儲策略。

  • 建表時，通過SETTINGS storage_policy = 'hot_to_cold'指定存儲策略。

  • 修改存量表的存儲策略。

    2024年1月1日之后開通冷熱存儲策略的集群

    執行以下語句進行策略修改。

    ALTER TABLE <table_name> MODIFY SETTING storage_policy = 'hot_to_cold';

    2024年1月1日之前開通冷熱存儲策略的集群

    通過管控運維操作，新增冷熱存儲策略，讓您能夠使用新策略將熱盤數據遷移到冷盤。

• 冷熱數據分層存儲功能開通后，暫不支持關閉。

計費說明

• 計費規則如下。

  存儲類型	計費詳情
  熱數據存儲	購買集群后已經擁有了熱數據存儲空間，與購買集群的存儲空間相同。
  冷數據存儲	采用按量付費模式。無需提前購買固定的存儲空間，先使用，后付費，并按照實際使用的存儲空間每小時計費一次。

• 冷數據存儲的詳細單價，請參見社區兼容版存儲空間費用。

• 計費公式：冷存儲空間費用=冷數據存儲單價×冷數據存儲使用量×使用時長。

• 示例：若冷數據存儲單價為0.0002元/GB/小時，19：00-20：00使用冷數據存儲2000 GB，則總費用為：0.0002元/GB/小時×2000 GB×1小時=0.4元。20：00-21：00釋放了500 GB冷數據存儲空間，實際使用了1500 GB存儲空間，那么20：00-21：00的總費用為：0.0002元/GB/小時×1500 GB×1小時=0.3元。

開通冷熱分層存儲

1. 登錄云數據庫ClickHouse控制臺。

2. 在頁面左上角，選擇集群所在的地域。

3. 在集群列表頁面，選擇社區版實例列表，單擊目標集群ID。

4. 單擊左側導航欄的冷熱分層存儲。

5. 單擊開通冷熱分層存儲。

6. 在彈出的冷熱數據分層開啟提示窗口，單擊確定。

   確定開通后，集群會進行重啟。待集群狀態從配置變更中變為運行中，即完成開通。

冷熱分層默認存儲策略

冷熱分層存儲功能開通后，默認存儲策略的相關參數如下表所示。

建表時設置TTL分層存儲策略

在默認存儲策略的基礎上，添加TTL語句，實現將間隔時間之前的所有數據自動轉移到冷數據盤中。

TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk'

示例

CREATE TABLE ttl_test_tbl
(
    `f1` String,
    `f2` String,
    `f3` Int64,
    `f4` Float64,
    `date` Date
)
ENGINE = MergeTree()
PARTITION BY date
ORDER BY f1
TTL date + INTERVAL 90 DAY TO DISK 'cold_disk'
SETTINGS storage_policy = 'hot_to_cold';

更改TTL分層存儲策略

您可以更改TTL分層存儲策略的日期或日期類型的列以及間隔的時間。

ALTER TABLE <table_name> ON CLUSTER default MODIFY TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk';

移動冷熱數據盤的數據

• 移動熱數據盤數據到冷數據盤。

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'cold_disk';

• 移動冷數據盤數據到熱數據盤。

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'default';

  說明

  partition為分區名稱，您可以在system.parts系統表中查看。

查看冷熱數據盤上的數據

• 查看熱數據盤上的數據。

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='default' AND active = 1;

• 查看冷數據盤上的數據。

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='cold_disk' AND active = 1;

查看磁盤空間

SELECT * FROM system.disks;

┌─name─────┬─────────path───────────────────────────┬─free_space───────────┬─total_space ─────────┬─used_space───┬─keep_free_space───┬──type──┐
│ cold_disk│ /clickhouse/data/data/disks/cold_disk/ │ 18446744073709551615 │ 18446744073709551615 │ 115312080698 │   0               │   OSS  │
│ default  │ /clickhouse/data/data/                 │ 201663209472         │ 207083249664         │ 5420040192   │   0               │  local │ 
└──────────┴────────────────────────────────────────┴──────────────────────┴──────────────────────┴──────────────┴───────────────────┴────────┘

SELECT move_ttl_info.min,move_ttl_info.max FROM system.parts WHERE database = '<db_name>'AND table = '<tb_name>'AND disk_name = 'default'