LTS（原BDS）服務(wù)介紹
LTS（Lindorm Tunnel Service，原BDS）是面向云HBase業(yè)務(wù)場(chǎng)景特點(diǎn)深度定制的數(shù)據(jù)生態(tài)服務(wù)。支持簡(jiǎn)單易用的數(shù)據(jù)交換、處理、訂閱等能力，滿(mǎn)足用戶(hù)的數(shù)據(jù)遷移、實(shí)時(shí)訂閱、數(shù)湖轉(zhuǎn)存、數(shù)倉(cāng)回流、單元化多活、備份恢復(fù)等需求，實(shí)現(xiàn)面向云HBase的一站式數(shù)據(jù)生態(tài)服務(wù)。
核心能力
云原生分布式：LTS是一個(gè)基于ECS部署的分布式系統(tǒng)，具備良好的水平擴(kuò)展能力，用戶(hù)可以按需進(jìn)行資源配置
簡(jiǎn)單易用：LTS支持一鍵配置數(shù)據(jù)遷移、導(dǎo)入、訂閱、歸檔等任務(wù)。比如數(shù)據(jù)遷移任務(wù)，用戶(hù)只需要選擇源端、目的端和需要同步的列，LTS會(huì)自動(dòng)完成Schema復(fù)制、全量數(shù)據(jù)復(fù)制和增量數(shù)據(jù)復(fù)制。
安全可靠：LTS充分考慮對(duì)源端和目標(biāo)端系統(tǒng)在線影響最小化，以及兼容可能出現(xiàn)的故障。在任務(wù)啟動(dòng)前會(huì)有網(wǎng)絡(luò)聯(lián)通性、安全性等前置校驗(yàn)，運(yùn)行過(guò)程中會(huì)實(shí)時(shí)監(jiān)控同步延遲、目標(biāo)集群存儲(chǔ)水位等并有相關(guān)的限速和報(bào)警，任務(wù)結(jié)束后還會(huì)提供數(shù)據(jù)校驗(yàn)。
低成本：LTS在HBase、Phoenix、Cassandra等開(kāi)源系統(tǒng)上有深入的優(yōu)化，提供物理文件級(jí)別的數(shù)據(jù)處理，比傳統(tǒng)的數(shù)據(jù)復(fù)制效率提高10倍。同時(shí)在CPU、緩存、內(nèi)存、網(wǎng)絡(luò)IO上的整體優(yōu)化使LTS提供一個(gè)高性?xún)r(jià)比的數(shù)據(jù)通道，減少客戶(hù)數(shù)據(jù)流轉(zhuǎn)、處理的成本。
功能列表
功能 | 場(chǎng)景 | 使用鏈接 |
HBase <-> HBase | 新舊集群無(wú)縫遷移、集群升配、在線離線業(yè)務(wù)分離、主備容災(zāi)、異地多活 | |
RDS -> HBase、Phoenix 重要 該功能自2023年3月10日下線，2023年3月10日后購(gòu)買(mǎi)的LTS不再支持此功能，2023年3月10日前購(gòu)買(mǎi)的LTS仍可正常使用此功能。 | 在線離線業(yè)務(wù)分離、歷史庫(kù) | |
HBase 數(shù)據(jù)導(dǎo)出 ODPS（MaxCompute） | 支持歷史數(shù)據(jù)和增量數(shù)據(jù) | |
SLS-> HBase | 支持訂閱SLS實(shí)時(shí)數(shù)據(jù)到HBase | |
HBase增量數(shù)據(jù)訂閱 | 支持云HBase增強(qiáng)版實(shí)時(shí)訂閱 |
日志生命周期管理說(shuō)明
開(kāi)啟日志訂閱后，如果不消費(fèi)數(shù)據(jù)，默認(rèn)日志會(huì)保留48小時(shí)，超時(shí)后訂閱關(guān)系自動(dòng)取消，保留的數(shù)據(jù)自動(dòng)刪除
什么場(chǎng)景會(huì)導(dǎo)致“不消費(fèi)數(shù)據(jù)”：沒(méi)有終止任務(wù)的前提下直接釋放LTS集群；同步任務(wù)暫停；
使用日志訂閱的任務(wù)類(lèi)型：HBase/Lindorm增量同步；數(shù)據(jù)歸檔；數(shù)據(jù)備份；數(shù)據(jù)訂閱
典型場(chǎng)景
不停機(jī)遷移（HBase1.x、HBase2.x、HBase增強(qiáng)版、Phoenix4.x、Phoenix5.x）
不停服數(shù)據(jù)遷移，同時(shí)搞定歷史數(shù)據(jù)遷移、實(shí)時(shí)增量數(shù)據(jù)的同步。
遷移過(guò)程中不會(huì)和源集群的HBase交互，只讀取源集群的HDFS，盡可能減少對(duì)源集群在線業(yè)務(wù)的影響。
文件層的數(shù)據(jù)拷貝比通常API層的數(shù)據(jù)遷移通常能節(jié)省50%以上的流量。
高效性，單個(gè)節(jié)點(diǎn)遷移速度可達(dá)到100MB/s，節(jié)點(diǎn)數(shù)支持水平擴(kuò)展，能夠滿(mǎn)足支持TB、PB級(jí)別的數(shù)據(jù)遷移。
穩(wěn)定性，有完善的錯(cuò)誤重試機(jī)制，實(shí)時(shí)監(jiān)控任務(wù)速度和進(jìn)度，支持任務(wù)失敗報(bào)警。
正確性，能夠進(jìn)行數(shù)據(jù)校驗(yàn)。
支持自動(dòng)同步Schema，保證分區(qū)一致。
在線離線業(yè)務(wù)分離
通過(guò)LTS，將在線業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)同步到HDFS或者OSS等存儲(chǔ)，結(jié)合Spark、MR等大數(shù)據(jù)組件進(jìn)行數(shù)據(jù)分析，從而不影響在線業(yè)務(wù)的查詢(xún)。
主備容災(zāi)
通過(guò)LTS在主備集群之間實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的雙向同步，當(dāng)主集群出現(xiàn)問(wèn)題，可以切換到備集群，盡可能減少對(duì)業(yè)務(wù)產(chǎn)生的影響，當(dāng)主集群服務(wù)恢復(fù)之后，通過(guò)LTS同步服務(wù)補(bǔ)齊主集群遺漏的數(shù)據(jù)。
RDS歷史庫(kù)
對(duì)于交易訂單等存儲(chǔ)場(chǎng)景，隨著數(shù)據(jù)量增大會(huì)對(duì)RDS造成性能壓力，周期性的歸檔數(shù)據(jù)或者分庫(kù)分表存在成本高、操作復(fù)雜等痛點(diǎn)。可以通過(guò)LTS將RDS數(shù)據(jù)實(shí)時(shí)同步到云HBase實(shí)現(xiàn)冷熱數(shù)據(jù)分離，云HBase提供自動(dòng)水平擴(kuò)展、高并發(fā)查詢(xún)、多維索引、輕量分析，Streams提供變更數(shù)據(jù)有序訂閱，LTS還支持將云HBase數(shù)據(jù)同步到其它分析系統(tǒng)進(jìn)行復(fù)雜數(shù)據(jù)分析。