有狀態計算是流處理中非常復雜和有挑戰的場景。流處理的數據訪問具有以下特點：

• 存在大量的隨機訪問且很少有范圍查詢。

• 數據流量和熱點會更加頻繁地動態變化，使得即便是同一算子的不同并發，也會有不同的數據訪問模式。

GeminiStateBackend就是針對以上特點設計的，其核心設計亮點如下：

• 全新的架構和數據結構設計，全面的性能提升。

  GeminiStateBackend的整體架構是在LSM數據結構的基礎上設計的，包含了隨數據規模和訪問特點變化而自適應、數據冷熱分層，可以在Anti-caching和Caching架構間靈活切換的三種能力。此外，還具備隨機查詢友好的哈希存儲結構。Nexmark性能對比的結果顯示，GeminiStateBackend相比RocksDBStateBackend的性能有了較大的提升，其中約一半用例的性能領先RocksDB 70%以上。

• 支持存儲計算分離，徹底擺脫狀態數據的本地盤存儲限制。

  在本地盤空間限制的環境下，State較大的作業經常會遇到本地磁盤空間不足的問題。基于RocksDBStateBackend的作業通常需要通過擴并發等增加資源的手段來解決該問題。GeminiStateBackend具有存儲計算分離的技術，使得狀態存儲可以不依賴于本地盤，可以避免因本地狀態數據過大而引發作業故障的問題。有關存儲計算分離相關配置，請參見存算分離配置。

• 支持自適應KV分離，大幅提升雙流或多流Join作業的性能。

  雙流或多流Join作為流計算中最有挑戰的場景之一，也是狀態存儲會遇到瓶頸的一個典型場景。基于大量場景Join成功率較低、或者狀態數據值較長的特點，GeminiStateBackend推出KV分離技術，可以極大提升雙流或多流Join作業的性能，且該功能可以完全自適應調整，不需要您額外配置調優。經過阿里巴巴集團雙十一核心業務驗證，開啟KV分離后，作業吞吐能力可以提升50% ～ 70%以上，計算資源利用率平均可以提升50%，典型優勢場景下可以提升100% ~ 200%。有關KV分離相關配置，請參見KV分離配置。

• 輕量級作業快照，顯著加速大狀態作業檢查點和快照完成。

  GeminiStateBackend通過支持更細粒度的作業快照，同時解耦檢查點與LSM的Compaction機制，讓檢查點和快照變得更加穩定快速。此外，GeminiStateBackend通過支持Native Incremental Savepoint，結合實時計算產品提供的原生快照，讓其性能趨近檢查點，極大提高了快照的可用性。

• 自適應參數調優，告別手動調參煩惱。

  在流計算任務中，不同算子往往具有不同的狀態訪問模式。狀態存儲通常需要不同的參數組合才可以達到最佳的性能，而這些參數往往很多而且涉及底層細節，手動調參會給您帶來較高的學習和理解成本。GeminiStateBackend通過自適應參數調優技術，在作業運行時根據當前數據訪問模式和流量自動調參，以達到各種場景下的最佳性能。經過阿里巴巴集團雙十一核心業務驗證，該技術可以避免95%以上的人工調參，同時提升10% ~ 40%的單核吞吐能力。有關自適應調參相關配置，請參見自適應調參配置。

我們使用Nexmark中State瓶頸的用例和相同的硬件資源，測試并對比了RocksDBStateBackend和GeminiStateBackend的性能。

結果顯示GeminiStateBackend對作業整體效能（單核吞吐能力）的優化效果十分顯著，具體數據如下表所示。