注意事項(xiàng)

RDS全量同步和增量同步功能于2023年3月10日下線(xiàn)。2023年3月10日后購(gòu)買(mǎi)的LTS將無(wú)法使用RDS全量同步和增量同步功能，2023年3月10日前購(gòu)買(mǎi)的LTS仍可正常使用此功能。

使用場(chǎng)景

• RDS低成本歷史庫(kù)。

• RDS數(shù)據(jù)全量遷移至云數(shù)據(jù)庫(kù)HBase。

前提條件

• LTS的購(gòu)買(mǎi)時(shí)間在2023年3月10日之前。

• 已登錄LTS頁(yè)面，具體操作請(qǐng)參見(jiàn)登錄同步任務(wù)。

• LTS、云數(shù)據(jù)庫(kù)HBase遷移集群、RDS實(shí)例的網(wǎng)絡(luò)已連通（都在同一個(gè)VPC中可以跳過(guò)）。

功能特性

• RDS數(shù)據(jù)全量和增量一體同步到HBase。

• RDS數(shù)據(jù)變換，請(qǐng)參見(jiàn)任務(wù)創(chuàng)建。

• RDS多表同步。

使用限制

• RDS全量同步支持?jǐn)?shù)據(jù)源MySQL。

• RDS增量同步支持?jǐn)?shù)據(jù)源DTS。

• 支持目標(biāo)數(shù)據(jù)源包括云數(shù)據(jù)庫(kù)HBase增強(qiáng)版和標(biāo)準(zhǔn)版。

任務(wù)創(chuàng)建

1. 在LTS操作頁(yè)面中，單擊導(dǎo)入Lindorm/HBase > RDS全增量同步。

2. 單擊創(chuàng)建任務(wù)。

3. 選擇RDS數(shù)據(jù)源、DTS數(shù)據(jù)源以及目標(biāo)數(shù)據(jù)源。

   說(shuō)明

   • 添加RDS數(shù)據(jù)源請(qǐng)參見(jiàn)RDS數(shù)據(jù)源。

   • 添加DTS訂閱通道請(qǐng)參見(jiàn)DTS訂閱通道。

   • 添加HBase數(shù)據(jù)源請(qǐng)參見(jiàn)HBase數(shù)據(jù)源。

   • 添加HBase增強(qiáng)版請(qǐng)參見(jiàn)HBase增強(qiáng)版。

4. 在配置區(qū)域中單擊編輯可以查看默認(rèn)配置說(shuō)明，也可以修改配置說(shuō)明。具體語(yǔ)法請(qǐng)參見(jiàn)Jtwig語(yǔ)法說(shuō)明。

   HBase API訪(fǎng)問(wèn)同步配置說(shuō)明

   {
       "reader": {
           "querySql": [
               "select * from dts.cluster where id < 1000",//全量同步查詢(xún)語(yǔ)句,一個(gè)語(yǔ)句對(duì)應(yīng)一個(gè)讀取線(xiàn)程
         "select * from dts.cluster where id >= 1000"http://建議進(jìn)行拆分提高速度和減小重試代價(jià)
           ]
       },
       "writer": {
           "columns": [
               {
                   "name": "f:id",//目標(biāo)表中字段名稱(chēng)
                   "value": "id", //原表中字段名稱(chēng)
           "isPk": false //不影響同步忽略
               },
               {
                   "name": "f:cluster_id",
                   "value": "cluster_id",
                   "isPk": false
               },
         {
           "name": "f:id_and_cluster",
                   "value": "{{concat(id, cluster_id)}}",//支持Jtwig域名對(duì)數(shù)據(jù)進(jìn)行變換
          }
           ],
           "rowkey": {
               //hbase模型中rowkey由RDS哪些字段組成,支持Jtwig語(yǔ)法,rowkey中使用的字段必須在columns中
               "value": "id" 
           },
           "config": {
               "skipDelete": true//跳過(guò)刪除操作
           },
           "table": {
               "name": "dts:cluster",// Lindorm/HBase中表名
               "parameter": {
                   "compression": "ZSTD",//Lindorm/HBase中,新建表壓縮算法,推薦使用ZSTD
           "split":["1", "5", "9", "b"] //指定splitkey,對(duì)新建表進(jìn)行預(yù)分區(qū)
               }
           },
           "sourceTable": "dts.cluster"
       }
   }

5. 選擇要同步的表，單擊生成配置。

   說(shuō)明

   • RDS全增量同步先進(jìn)行全量歷史數(shù)據(jù)遷移,遷移完成后在進(jìn)行增量數(shù)據(jù)遷移。

   • 導(dǎo)入HBase默認(rèn)生成列簇，RDS中的字段會(huì)和f下列一一對(duì)應(yīng),同時(shí)rowkey為RDS主鍵字符串拼接。

   • 默認(rèn)生成配置會(huì)跳過(guò)RDS刪除操作如果保留需要手動(dòng)修改配置,詳見(jiàn)配置說(shuō)明。

6. 單擊創(chuàng)建。