OpenStore智能存儲引擎介紹
本文中含有需要您注意的重要提示信息，忽略該信息可能對您的業(yè)務(wù)造成影響，請務(wù)必仔細(xì)閱讀。
OpenStore智能混合存儲引擎是阿里云Elasticsearch團(tuán)隊針對日志場景自研的彈性、高效、低成本的日志存儲引擎，支持根據(jù)實(shí)際存儲數(shù)據(jù)量按量計費(fèi)，無須提前預(yù)留集群存儲容量，真正做到存儲Serverless。可突破傳統(tǒng)冷熱分離架構(gòu)，大幅降低集群數(shù)據(jù)接入復(fù)雜度的同時，進(jìn)一步降低云上海量數(shù)據(jù)的存儲成本。本文主要介紹OpenStore智能混合存儲引擎的適用場景、架構(gòu)、優(yōu)勢以及性能指標(biāo)。
背景信息
在日志全觀測場景下，通常因?yàn)闃I(yè)務(wù)場景或監(jiān)管需求，需要長時間存儲數(shù)據(jù)或歸檔審計。在使用開源Elasticsearch的過程中，需要進(jìn)行集群冷熱數(shù)據(jù)分離，將30天或者更長時間的數(shù)據(jù)通過集群快照的方式存儲在其他存儲介質(zhì)上，例如對象存儲OSS等。該方式雖然能夠?qū)崿F(xiàn)長期日志數(shù)據(jù)歸檔，但是存儲后不能直接進(jìn)行查詢，查詢前需要調(diào)用相關(guān)API把快照信息恢復(fù)到集群中，等待快照中的索引初始化完成后再進(jìn)行查詢，面臨著查詢復(fù)雜度大、長時間存儲成本高的問題。
OpenStore存儲引擎是阿里云Elasticsearch 7.10內(nèi)核增強(qiáng)版的重要功能，結(jié)合Indexing Service寫入托管服務(wù)，滿足用戶在日志場景下低成本的高并發(fā)寫入及長期數(shù)據(jù)存儲需求。您可以按需創(chuàng)建7.10內(nèi)核增強(qiáng)版實(shí)例，開啟OpenStore智能混合存儲功能。
您可以在實(shí)例基本信息頁面的節(jié)點(diǎn)可視化區(qū)域查看是否已開啟OpenStore功能、開啟OpenStore功能并查看OpenStore存儲信息，詳細(xì)信息請參見查看集群狀態(tài)和節(jié)點(diǎn)信息。
開啟OpenStore后，建議您在控制臺關(guān)閉自動快照備份功能，具體操作請參見自動備份與恢復(fù)。
適用場景
阿里云Elasticsearch自研Openstore存儲引擎，適用于有海量數(shù)據(jù)寫入及長期存儲需求，數(shù)據(jù)查詢QPS較低且查詢時延容忍度相對較高的日志檢索、指標(biāo)分析等場景。
智能混合存儲引擎適用于業(yè)務(wù)上對于數(shù)據(jù)有實(shí)時更新的需求，數(shù)據(jù)沒有嚴(yán)格的冷熱區(qū)分。
使用說明
無須單獨(dú)購買集群熱數(shù)據(jù)存儲空間，所有數(shù)據(jù)統(tǒng)一使用OpenStore存儲，按小時計算實(shí)際用量。價格詳情，請參見阿里云ES計費(fèi)。
創(chuàng)建的索引默認(rèn)為混合存儲索引，無須手動配置索引冷熱生命周期策略。
OpenStore存儲會自動根據(jù)查詢情況選擇緩存數(shù)據(jù)，數(shù)據(jù)分層及降級由混合存儲自動完成。
優(yōu)勢
海量存儲：存儲Serverless付費(fèi)，無須提前規(guī)劃及購買存儲容量，數(shù)據(jù)存儲按小時統(tǒng)計實(shí)際使用量，存儲資源使用率達(dá)到100%。
低成本：實(shí)時可修改、支持寫入更新，無須配置復(fù)雜索引生命周期，自動完成數(shù)據(jù)降級，超低使用門檻；數(shù)據(jù)存儲單價相較于使用本地SATA盤存儲成本降低了60%，相較于高效云盤降低了70%。
高可用：基于存儲計算分離架構(gòu)，多副本之間共享一份數(shù)據(jù)，不增加額外存儲成本；底層存儲服務(wù)保證集群的數(shù)據(jù)高可用，提供99.9999999999%（可達(dá)12個9）的數(shù)據(jù)持久性。
查詢性能提升：對于典型日志場景的常用查詢分析，性能相較于本地SATA提升了100%，與高效云盤或者PL0級別的ESSD云盤性能相當(dāng)。
混合存儲架構(gòu)
此架構(gòu)具備以下優(yōu)勢：
存儲計算分離：相較于冷熱分離架構(gòu)，進(jìn)一步解耦計算與存儲資源，用戶不需要再關(guān)注存儲容量。實(shí)現(xiàn)彈性存儲、按量計費(fèi)的同時，立足云原生優(yōu)化集群擴(kuò)展性，極大地提升了索引遷移和恢復(fù)的速度，適應(yīng)海量數(shù)據(jù)場景。
易用性：全自動的索引生命周期管理，您只需要做簡單的索引周期配置，引擎完全托管了索引冷熱分離和數(shù)據(jù)遷移OpenStore存儲的全過程。
數(shù)據(jù)一致性：智能混合存儲通過基于Raft實(shí)現(xiàn)的混合存儲一致性協(xié)議，保證不同存儲介質(zhì)之間的數(shù)據(jù)一致性，在用戶無感知的情況下，自動完成數(shù)據(jù)降級及緩存加速，并支持?jǐn)?shù)據(jù)實(shí)時更新。
使用限制
購買和使用OpenStore存儲時，存在以下使用限制。
類別 | 限制說明 |
地域 | 目前僅開放以下地域（具體以控制臺為準(zhǔn)）：
|
實(shí)例版本 | 僅7.10版本實(shí)例支持開啟Openstore智能混合存儲功能。 |
實(shí)例規(guī)格 | 僅支持選擇OpenStore存儲型8核64 GB、16核64 GB規(guī)格。 |
實(shí)例存儲容量 | 單節(jié)點(diǎn)最大存儲數(shù)據(jù)容量為30 TB。 說明 如果您有更大的單節(jié)點(diǎn)存儲需求，請提交工單申請，最大支持50 TB。 |
shard副本數(shù) | 開啟OpenStore智能混合存儲，shard副本數(shù)須大于等于1。 警告 多副本之間共享一份數(shù)據(jù)，不增加額外存儲成本。多副本用于保證本地存儲寫入加速的可靠性，如果未設(shè)置多副本可能會導(dǎo)致部分實(shí)時寫入數(shù)據(jù)的丟失，丟失后數(shù)據(jù)無法恢復(fù)。 |
索引模板 |
詳細(xì)信息，請參見通過OpenStore智能混合存儲實(shí)現(xiàn)海量數(shù)據(jù)存儲。 說明 手動刪除OpenStore存儲索引時，需要將索引及索引對應(yīng)的別名一起刪除才可刪除成功。 |
索引生命周期配置 | 不支持在索引生命周期中自定義freeze。 |
查詢限制 |
|
集群分片數(shù)限制 | 建議80000以下。 |
節(jié)點(diǎn)分片數(shù)限制 | 建議3000以下。 |
單分片大小 | 建議40 G以下。 |
數(shù)據(jù)盤寫入吞吐 | 數(shù)據(jù)盤實(shí)際使用水位在85%以下，300 MB/s。 數(shù)據(jù)盤實(shí)際使用水位在85%以上，100 MB/s。 |
性能測試
測試環(huán)境
數(shù)據(jù)集：某日志場景數(shù)據(jù)集。
集群規(guī)格：均采用某日志場景的相同配置，其中：
節(jié)點(diǎn)數(shù)：10
Shard數(shù)：108
查詢條件：
查詢類型：sort
文檔個數(shù)：3,800,000,000
測試結(jié)果
存儲類型
查詢時間
本地SATA盤
30秒以上
高效云盤
12.229秒
OpenStore存儲
15.841秒
測試結(jié)論：
在集群配置相同的情況下，查詢?nèi)罩緮?shù)據(jù)時，通過OpenStore存儲的查詢耗時明顯低于通過本地SATA盤存儲的耗時，與高效云盤查詢耗時基本持平。從價格方面來看，OpenStore存儲的單價比高效云盤存儲的單價低60%左右，而且是按量付費(fèi)，無須提前購買存儲容量。所以，通過使用OpenStore存儲，可以為您節(jié)省一定的費(fèi)用。