Indexing Service系列介紹
您可以根據(jù)業(yè)務(wù)的讀寫需求選擇使用阿里云Elasticsearch內(nèi)核增強(qiáng)版Indexing Service系列,通過其云上寫入托管能力,體驗(yàn)按需購買、按量付費(fèi)的低成本、高性能的時(shí)序日志場(chǎng)景下的Elasticsearch服務(wù)。本文主要介紹Indexing Service的適用場(chǎng)景、架構(gòu)、優(yōu)勢(shì)以及性能測(cè)試結(jié)果。
基于讀寫分離架構(gòu)的內(nèi)核增強(qiáng)版Indexing Service,不僅實(shí)現(xiàn)了Elasticsearch集群的云端寫入Indexing Service托管,還從硬件選型、集群架構(gòu)、內(nèi)核性能進(jìn)行了全方位優(yōu)化。在提升集群寫入性能的同時(shí),您可以從讀寫角度分別評(píng)估業(yè)務(wù)需求,根據(jù)實(shí)際寫入按量付費(fèi),而無須按照集群峰值寫入吞吐預(yù)留資源,大大降低了云上使用Elasticsearch的資源成本和運(yùn)維成本。
適用場(chǎng)景
適用于寫入TPS較高、寫入流量波動(dòng)較大和搜索QPS較低的時(shí)序數(shù)據(jù)分析場(chǎng)景,例如日志檢索分析、Metric監(jiān)控分析、IoT智能硬件數(shù)據(jù)收集及監(jiān)控分析等。
Indexing Service內(nèi)核增強(qiáng)版實(shí)例與用戶集群進(jìn)行數(shù)據(jù)同步時(shí),依賴于apack/cube/metadata/sync任務(wù)(可通過GET _cat/tasks?v
命令獲取該任務(wù)信息),不建議手動(dòng)清理該任務(wù)。如果被清理,請(qǐng)盡快使用POST /_cube/meta/sync
命令恢復(fù),否則會(huì)影響業(yè)務(wù)寫入。
架構(gòu)
此架構(gòu)具備如下優(yōu)勢(shì):
高性能:專業(yè)級(jí)寫入優(yōu)化,Indexing Service索引構(gòu)建服務(wù)通過索引物理復(fù)制、計(jì)算存儲(chǔ)分離、faster-bulk等阿里云自研特性優(yōu)化寫入性能,您無需做任何配置變更即可享受專業(yè)級(jí)寫入性能。
低延遲:跨集群實(shí)時(shí)物理復(fù)制,通過segment級(jí)別的實(shí)時(shí)物理復(fù)制,在寫入流量飽和的情況下,用戶集群相對(duì)于Indexing Service集群的平均數(shù)據(jù)延遲達(dá)到百毫秒級(jí)。
高穩(wěn)定:異地容災(zāi),Indexing Service具備異地多集群備份能力。當(dāng)某一個(gè)集群出現(xiàn)異常時(shí),可切換用戶集群的索引托管至另一個(gè)正常集群,進(jìn)一步提升寫入高可用性。
費(fèi)用說明
Indexing Service索引構(gòu)建服務(wù)會(huì)收取寫入托管(寫入流量和托管存儲(chǔ)空間)的費(fèi)用。
無論ES實(shí)例的付費(fèi)模式是包年包月還是按量付費(fèi),寫入托管費(fèi)用按實(shí)際寫入流量和實(shí)際托管存儲(chǔ)空間進(jìn)行按量計(jì)費(fèi)。詳情請(qǐng)參見阿里云ES計(jì)費(fèi)。
雖然開啟Indexing Service索引構(gòu)建服務(wù)會(huì)收取寫入托管費(fèi)用,但該服務(wù)會(huì)降低集群中用于承載寫入計(jì)算的節(jié)點(diǎn)資源的費(fèi)用。
優(yōu)勢(shì)
低成本:寫入計(jì)算資源成本平均降低了60% 。
彈性擴(kuò)展:寫入資源由云端Indexing Service后臺(tái)調(diào)配和管理,以應(yīng)對(duì)寫入流量波動(dòng)。在無需數(shù)據(jù)遷移的情況下,實(shí)現(xiàn)日志場(chǎng)景下Elasticsearch集群的寫入彈性擴(kuò)展能力,輕松應(yīng)對(duì)高峰流量。
免運(yùn)維:用戶無須關(guān)注Elasticsearch集群的寫入資源和寫入壓力,由Indexing Service實(shí)現(xiàn)云上寫入托管,極大降低集群運(yùn)維成本。
使用限制
云端托管功能可以為您創(chuàng)建的Elasticsearch集群提供寫入Serverless服務(wù),但是在使用時(shí),對(duì)數(shù)據(jù)寫入和索引配置有相關(guān)限制。詳情請(qǐng)參見下表。
分類 | 限制項(xiàng) | 限制說明 | 備注 |
實(shí)例維度 | 寫入流量保護(hù) | 寫入流量最大為200 MB/s | 如果超過最大限制,返回狀態(tài)碼429,提示Inflow Quota Exceed。如果您有更大的使用需求,請(qǐng)提交工單申請(qǐng)。 |
寫入文檔數(shù)保護(hù) | 寫入文檔保護(hù)數(shù)最大為200000 個(gè)/秒 | 如果超過最大限制,返回狀態(tài)碼429,提示W(wǎng)rite QPS Exceed。如果您有更大的使用需求,請(qǐng)提交工單申請(qǐng)。 | |
Put Mapping限流保護(hù) | Put Mapping最大為50 tps/s | 如果超過最大限制,返回狀態(tài)碼429,提示 說明 頻繁的Put Mapping將消耗大量的計(jì)算資源,對(duì)托管服務(wù)穩(wěn)定性影響極大。建議您寫數(shù)據(jù)前提前定義索引模板,降低Put Mapping操作。 | |
Shard維度 | 寫入流量 | 不帶主鍵寫入流量最大為10 MB/s 帶主鍵寫入流量最大為5 MB/s | 如果超過最大限制,返回狀態(tài)碼429,提示 |
寫入文檔數(shù) | 寫入文檔數(shù)最大為5000 個(gè)/秒 | 非硬性限制,如果超過最大限制,系統(tǒng)會(huì)盡可能服務(wù),但不能保證服務(wù)質(zhì)量。 | |
Shard數(shù) | 單個(gè)索引最多可創(chuàng)建的Shard數(shù) | 最多可創(chuàng)建300個(gè)Shard。 | 無。 |
配置 | index.refresh_interval | 云端托管集群中默認(rèn)配置此參數(shù),用戶側(cè)配置不生效。 | 無。 |
index.translog.durability | translog在云端托管集群中默認(rèn)配置為異步寫入模式(index.translog.durability=async),用戶側(cè)配置不生效。 | 無。 | |
refresh、merge等寫入?yún)?shù) | 云端托管集群中默認(rèn)已配置refresh、merge等寫入?yún)?shù),用戶側(cè)配置不生效。 | 默認(rèn)配置如下。
| |
索引 | 生命周期配置 | 不支持在索引生命周期中自定義freeze。 | 無。 |
shrink操作 | Indexing Service場(chǎng)景,索引處于托管狀態(tài),不兼容ILM Action中的shrink操作,建議當(dāng)索引處于未托管狀態(tài)時(shí),執(zhí)行shrink配置。詳細(xì)信息,請(qǐng)參見ILM-shrink。 | 無。 | |
取消托管時(shí)間 | 索引默認(rèn)托管3天后自動(dòng)取消托管。 | 可依據(jù)業(yè)務(wù)數(shù)據(jù)在生命周期中修改取消托管時(shí)間。 | |
Ingest Node |
|
性能測(cè)試
測(cè)試環(huán)境:
測(cè)試結(jié)果:
規(guī)格
實(shí)例版本
寫入TPS
寫入可見性延遲
3個(gè)數(shù)據(jù)節(jié)點(diǎn)的2核8 GB
通用商業(yè)版
24883
5秒
內(nèi)核增強(qiáng)版Indexing Service
226649
6秒
3個(gè)數(shù)據(jù)節(jié)點(diǎn)的4核16 GB
通用商業(yè)版
52372
5秒
內(nèi)核增強(qiáng)版Indexing Service
419574
6秒
3個(gè)數(shù)據(jù)節(jié)點(diǎn)的8核32 GB
通用商業(yè)版
110277
5秒
內(nèi)核增強(qiáng)版Indexing Service
804010
6秒
測(cè)試結(jié)論:
內(nèi)核增強(qiáng)版Indexing Service與通用商業(yè)版性能對(duì)比結(jié)果:
基于3個(gè)數(shù)據(jù)節(jié)點(diǎn)的2核8 GB規(guī)格,性能提升了910%。
基于3個(gè)數(shù)據(jù)節(jié)點(diǎn)的4核16 GB規(guī)格,性能提升了801%。
基于3個(gè)數(shù)據(jù)節(jié)點(diǎn)的8核32 GB規(guī)格,性能提升了729%。