背景信息

在移動互聯網高度發達的今天，每天都會有大量的業務數據產生，隨著時間的積累和業務的發展數據量急劇增長，同時歷史數據的訪問頻率隨著時間的推移卻越來越低。這些數據全部存儲在關系型數據庫中會帶來了一系列的問題。

挑戰

• 存儲成本的升高，存儲成本和數據量成正比，數據量的急劇增長帶來了存儲成本的急劇增加。

• 查詢性能的下降，單實例存儲空間超過TB以后查詢性能將會急劇下滑。

• 運維復雜度高，通過分庫分表的方式來解決數據量增加造成性能下降，給運維和業務開發增加了巨大的成本。

需求

• 存儲成本可控，歷史數據的存儲成本是在線數據的十分之一。

• 能夠彈性的伸縮， 計算和存儲能力自動水平擴展，不再依賴分庫分表解決運維難的痛點。

• 修改schema成本低， 支持快速修改schema或者動態schema，解決歷史庫schema變更時間長的問題。

• 改造成本低， 可以支持SQL進行訪問。

• 滿足實時查詢需求，例如消費賬單、聊天記錄等場景歷史數據的查詢RT要能夠和在線數據的查詢RT接近。

• 能夠滿足數據分析需求，歷史數據訪問頻度低，但是在某些業務場景下需要對全量數據進行挖掘分析，比如支付寶年賬單。

云原生多模數據庫 Lindorm能夠同時滿足存儲成本低廉、運維簡單、彈性伸縮、性能穩定等需求可以和關系型數據庫完美組合，是實時低成本歷史庫的最佳選擇。

方案架構

• LTS數據同步服務對接MySQL等關系行數據庫支持數據的全增量一體化同步，同時提供多表遷移、數據變化、DDL感知等企業級同步能力，幫助用戶簡單高效完成數據的遷移;

• 云原生多模數據庫 Lindorm提供海量數據的低成本存儲能力（0.11元/GB/月）、彈性伸縮按需付費、多模多端處理能力滿足用戶多種場景下的數據存儲需求，同時可以無縫對接spark、hive、flink、presto等開源分析生態滿足用戶對數據的復雜分析需求，最大程度挖掘數據價值;

方案優勢

簡單易用

• 數據搬遷配置可視化，分鐘級完成遷移配置。

• 全增量一體化，最大程度降低用戶使用成本。

• 支持多表遷移、數據變換等能力幫助用戶輕松完成多表合并、字段組合變化等需求。

• 全面的監控報警，保證數據同步穩定性。

性價比

• 支持容量型存儲，成本低至0.11元/GB/月，在優化存儲成本的同時通過系統內置緩沖加速層，讓查詢實時性仍有較大的保障，是實時歷史庫的最佳存儲選擇。

• 在性能上，Lindorm寬表引擎在吞吐延遲上做了非常多的突破，其基準性能是開源HBase的7倍，具體請參考測試結果；Lindorm時序引擎融入了許多創新型的高性能結構設計，其基準性能在目前的信通院榜單中處于第一的位置。

• 支持智能冷熱分離，針對數據隨著時間線逐漸熱變冷的場景，典型如監控、社交聊天、交易賬單等，Lindorm內部將自動識別數據的冷熱，并進行分離存儲到高性能介質和低成本介質（兩者之間的單價成本差可高達10:1），而用戶讀寫訪問保持完全透明，并且熱數據的訪問性能還能有所加速。

• 支持自適應壓縮，針對數據的不同類型和特點，系統將自動選擇混合的字典、前綴、Delta、熵編碼等壓縮算法，相比業界通用算法，整體壓縮率提升10%~30%。

云原生彈性

• Lindorm基于存儲計算分離的架構，支持計算資源、存儲資源的獨立彈性伸縮，最大程度避免資源浪費;

• 同時提供Serverless服務，實現按需即時彈性、按使用量付費的能力。Lindorm Serverless基于多租戶隔離、智能調度、彈性IaaS底座構建，具備企業級SLA保障，滿足內部大部分業務的可用性要求，從而讓一線同學大幅降低容量管理的運維負擔，消除因流量波動導致的穩定性風險。

多模&檢索

• 兼容HBase、Phoenix（SQL）、Cassandra（CQL）等主流開源標準接口，最大程度降低用戶改造成本;同時具備全局二級索引、多維檢索、動態列、TTL等能力， 滿足元數據、訂單、賬單、畫像、社交、feed流、日志等多種場景需求。

• 支持一鍵開啟搜索引擎（兼容開源Solr標準接口）， 具備全文檢索、聚合計算、復雜多維查詢等能力，幫助加速檢索查詢，滿足用戶實時復雜分析需求。

大數據生態

• 無縫對接Spark、Hive、Flink、Presto等開源大數據生態產品，支持API訪問和文件讀取等多種對接方式，簡單高效滿足用戶海量數據分析需求。

典型應用

• 用戶交易記錄通過APP寫入MySQL，LTS將MySQL中實時同步到Lindorm，近三個月狀態不斷變化的記錄查詢MySQL，三個月以上歷史交易記錄查詢Lindorm，歷史交易記錄存儲在容量型存儲中，存儲成本下降90%以上。

• 對于用戶復雜條件實時檢索需求，例如按時間、地點、金額大小、交易備注內容等任意組合查詢，可以結合Lindorm搜索引擎的全文檢索、聚合計算、復雜多維查詢等能力，不需要業務改造就能輕松滿足用戶需求。

• 通過LTS支持將Lindorm賬單數據同步到Spark/MapCompuct等離線計算平臺進行計算按照業務需求分析生成運營報表數據，然后回流到Lindorm供用戶進行實時查詢。

使用說明

• RDS全增量同步

• 云原生多模數據庫 Lindorm技術解析