云原生多模數據庫 Lindorm內含寬表引擎、時序引擎、搜索引擎、計算引擎和流引擎,兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS等多種開源標準接口,同時提供SQL查詢、時序處理、文本檢索分析等能力。
為應對動態變化的業務訪問量,各引擎支持獨立按需彈性擴展,寬表引擎和時序引擎均提供高并發吞吐能力。
選擇引擎類型
不同引擎類型適用不同的場景,可按需選擇一種或多種引擎,具體介紹,請參見下表。
引擎類型 | 兼容接口 | 適用場景 | 介紹 |
寬表引擎 | 兼容SQL、HBase API、Cassandra CQL、S3 API | 元數據、訂單、賬單、畫像、社交、feed流、日志、軌跡管理分析等場景。 | 面向海量半結構化、結構化數據設計的分布式寬表引擎,具備全局二級索引、多維檢索、動態列、TTL等能力,支持千萬級高并發吞吐,支持百PB級存儲,吞吐性能是開源HBase的3-7倍,P99時延為開源HBase的1/10,支持冷熱分離,壓縮率比開源HBase提升一倍,綜合存儲成本為開源HBase的1/2。內置Ganos時空服務,面向各類空間/時空數據,支持海量歷史軌跡查詢分析場景。 |
時序引擎 | 提供HTTP API接口,并兼容OpenTSDB API | IoT、監控等場景存儲、處理量測數據、設備運行數據等時序數據。 | 面向海量時序數據設計的分布式時序引擎,支持SQL查詢。針對時序數據設計的壓縮算法,提高壓縮率。支持海量多維的時間線查詢和時間線聚合,支持降采樣。支持彈性擴展。 |
搜索引擎 | 兼容SQL、Solr接口 | 海量日志、文本、文檔等數據,適用于日志、賬單、畫像等場景。 | 采用存儲和計算分離架構設計的分布式搜索引擎,可無縫作為寬表、時序引擎的索引存儲,加速檢索查詢,具備全文檢索、聚合計算、復雜多維查詢等能力,支持水平擴展、一寫多讀、跨機房容災、TTL等,滿足海量數據下的高效檢索需求。 |
計算引擎 | 兼容Spark接口 | 海量數據生產、交互式分析、計算學習和圖計算等場景。 | 計算引擎是基于云原生架構提供的分布式計算服務,支持社區版計算模型以及編程接口,同時深度融合Lindorm存儲引擎特性,利用底層數據存儲特征以及索引能力,高效地完成分布式作業任務。 |
流引擎 | 兼容SQL、Kafka接口 | IoT數據處理、應用日志處理、物流時效分析、出行數據處理、軌跡實時分析等場景。 | 流引擎是面向流式數據處理的引擎,提供了流式數據的存儲和輕計算功能,幫助您輕松實現將流式數據存儲至云原生多模數據庫 Lindorm,滿足基于流式數據的處理和應用需求。結合寬表引擎的Ganos時空服務,可以實現基于流式數據的實時軌跡分析功能,如電子圍欄、區域統計等。 |
選擇節點規格和數量
Lindorm支持節點的水平擴展。當節點出現負載過高、延遲增大或不穩定等問題時,可以通過增加節點的數量來解決。但僅僅增加節點數量無法解決低規格節點的單機熱點問題,選擇更高的規格則可以避免熱點問題的出現,即節點的規格決定了單機抗熱點的能力。同時,節點的規格也會影響業務的穩定性,當面對熱點流量或即時請求量過大的情況時,節點規格低可能會導致負載過高或OOM。
因此,建議您根據業務事先做好評估,選擇合適的節點規格。如果您需要升級Lindorm實例的節點規格,可以通過云原生多模數據庫 Lindorm控制臺升級規格,具體操作,請參見變更實例規格。如果您無法評估需要升級的規格或在升級過程中需要幫助,請聯系Lindorm技術支持(釘釘號:s0s3eg3)升級。
寬表引擎
寬表引擎支持的節點規格范圍為4核8 GB至32核256 GB,節點數量可水平擴展。您可以根據實際業務需求評估業務請求量(行/秒)及分片數量,選擇合適的引擎規格。
商品類型為Lindorm時,寬表引擎可選擇的最小規格為4核16 GB。
寬表引擎部分性能優化功能在節點規格小于等于16 GB時可能無法生效;當節點數量小于等于2時,寬表引擎的部分寫入優化功能可能無法生效。因此,在實際進行選擇時,建議節點數量選擇3個及以上,節點規格選擇8核32 GB以上(推薦選擇16核64 GB規格)。
選擇建議如下:
單節點請求量小于1000,單節點承載的分片(Region)數目小于500,可以使用4核16 GB規格。
單節點請求量小于20000,單節點承載的分片數目小于1000,推薦使用8核32 GB以上規格。
單節點請求量大于20000,單節點承載的分片數目大于1000,推薦使用16核64 GB以上規格。
重要請求量和分片數量的多少并不是節點規格與數量選擇的唯一標準。
如果您的業務情況復雜,選擇上述建議規格可能會導致業務不穩定和延遲增大。因此當您的業務中,可能存在以下幾種情況時,請選擇大于上述建議規格的節點規格:
請求的一行數據量較大,達到幾KB,甚至數MB。
Scan請求中存在復雜的過濾器。
請求的緩存命中率很低,每個請求都需要請求磁盤。
實例中的表非常多。
如果是在線型業務,請選擇大內存規格來增加緩存命中率以提高性能。
如果需要運行MR或Spark等離線大負載任務,或TPS或QPS非常高,建議選擇大CPU規格。
CPU使用率超過70%時建議您選擇擴容。
時序引擎
時序引擎支持的節點規格范圍為4核8 GB至32核256 GB。建議您根據實際業務情況評估TPS(測量點數/秒),選擇合適的節點規格和數量。
商品類型為Lindorm時,時序引擎可選擇的最小規格為4核 16GB。