日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Indexing Service系列介紹

更新時(shí)間:

您可以根據(jù)業(yè)務(wù)的讀寫需求選擇使用阿里云Elasticsearch內(nèi)核增強(qiáng)版Indexing Service系列,通過其云上寫入托管能力,體驗(yàn)按需購買、按量付費(fèi)的低成本、高性能的時(shí)序日志場(chǎng)景下的Elasticsearch服務(wù)。本文主要介紹Indexing Service的適用場(chǎng)景、架構(gòu)、優(yōu)勢(shì)以及性能測(cè)試結(jié)果。

基于讀寫分離架構(gòu)的內(nèi)核增強(qiáng)版Indexing Service,不僅實(shí)現(xiàn)了Elasticsearch集群的云端寫入Indexing Service托管,還從硬件選型、集群架構(gòu)、內(nèi)核性能進(jìn)行了全方位優(yōu)化。在提升集群寫入性能的同時(shí),您可以從讀寫角度分別評(píng)估業(yè)務(wù)需求,根據(jù)實(shí)際寫入按量付費(fèi),而無須按照集群峰值寫入吞吐預(yù)留資源,大大降低了云上使用Elasticsearch的資源成本和運(yùn)維成本。

適用場(chǎng)景

適用于寫入TPS較高、寫入流量波動(dòng)較大和搜索QPS較低的時(shí)序數(shù)據(jù)分析場(chǎng)景,例如日志檢索分析、Metric監(jiān)控分析、IoT智能硬件數(shù)據(jù)收集及監(jiān)控分析等。

重要

Indexing Service內(nèi)核增強(qiáng)版實(shí)例與用戶集群進(jìn)行數(shù)據(jù)同步時(shí),依賴于apack/cube/metadata/sync任務(wù)(可通過GET _cat/tasks?v命令獲取該任務(wù)信息),不建議手動(dòng)清理該任務(wù)。如果被清理,請(qǐng)盡快使用POST /_cube/meta/sync命令恢復(fù),否則會(huì)影響業(yè)務(wù)寫入。

架構(gòu)

fig_01

此架構(gòu)具備如下優(yōu)勢(shì):

  • 高性能:專業(yè)級(jí)寫入優(yōu)化,Indexing Service索引構(gòu)建服務(wù)通過索引物理復(fù)制、計(jì)算存儲(chǔ)分離、faster-bulk等阿里云自研特性優(yōu)化寫入性能,您無需做任何配置變更即可享受專業(yè)級(jí)寫入性能。

  • 低延遲:跨集群實(shí)時(shí)物理復(fù)制,通過segment級(jí)別的實(shí)時(shí)物理復(fù)制,在寫入流量飽和的情況下,用戶集群相對(duì)于Indexing Service集群的平均數(shù)據(jù)延遲達(dá)到百毫秒級(jí)。

  • 高穩(wěn)定:異地容災(zāi),Indexing Service具備異地多集群備份能力。當(dāng)某一個(gè)集群出現(xiàn)異常時(shí),可切換用戶集群的索引托管至另一個(gè)正常集群,進(jìn)一步提升寫入高可用性。

費(fèi)用說明

Indexing Service索引構(gòu)建服務(wù)會(huì)收取寫入托管(寫入流量和托管存儲(chǔ)空間)的費(fèi)用。

說明
  • 無論ES實(shí)例的付費(fèi)模式是包年包月還是按量付費(fèi),寫入托管費(fèi)用按實(shí)際寫入流量和實(shí)際托管存儲(chǔ)空間進(jìn)行按量計(jì)費(fèi)。詳情請(qǐng)參見阿里云ES計(jì)費(fèi)

  • 雖然開啟Indexing Service索引構(gòu)建服務(wù)會(huì)收取寫入托管費(fèi)用,但該服務(wù)會(huì)降低集群中用于承載寫入計(jì)算的節(jié)點(diǎn)資源的費(fèi)用。

優(yōu)勢(shì)

  • 低成本:寫入計(jì)算資源成本平均降低了60% 。

  • 彈性擴(kuò)展:寫入資源由云端Indexing Service后臺(tái)調(diào)配和管理,以應(yīng)對(duì)寫入流量波動(dòng)。在無需數(shù)據(jù)遷移的情況下,實(shí)現(xiàn)日志場(chǎng)景下Elasticsearch集群的寫入彈性擴(kuò)展能力,輕松應(yīng)對(duì)高峰流量。

  • 免運(yùn)維:用戶無須關(guān)注Elasticsearch集群的寫入資源和寫入壓力,由Indexing Service實(shí)現(xiàn)云上寫入托管,極大降低集群運(yùn)維成本。

使用限制

云端托管功能可以為您創(chuàng)建的Elasticsearch集群提供寫入Serverless服務(wù),但是在使用時(shí),對(duì)數(shù)據(jù)寫入和索引配置有相關(guān)限制。詳情請(qǐng)參見下表。

分類

限制項(xiàng)

限制說明

備注

實(shí)例維度

寫入流量保護(hù)

寫入流量最大為200 MB/s

如果超過最大限制,返回狀態(tài)碼429,提示Inflow Quota Exceed。如果您有更大的使用需求,請(qǐng)提交工單申請(qǐng)。

寫入文檔數(shù)保護(hù)

寫入文檔保護(hù)數(shù)最大為200000 個(gè)/秒

如果超過最大限制,返回狀態(tài)碼429,提示W(wǎng)rite QPS Exceed。如果您有更大的使用需求,請(qǐng)提交工單申請(qǐng)。

Put Mapping限流保護(hù)

Put Mapping最大為50 tps/s

如果超過最大限制,返回狀態(tài)碼429,提示PutMappingRequest blocked

說明

頻繁的Put Mapping將消耗大量的計(jì)算資源,對(duì)托管服務(wù)穩(wěn)定性影響極大。建議您寫數(shù)據(jù)前提前定義索引模板,降低Put Mapping操作。

Shard維度

寫入流量

不帶主鍵寫入流量最大為10 MB/s

帶主鍵寫入流量最大為5 MB/s

如果超過最大限制,返回狀態(tài)碼429,提示write_size blocked。非硬性限制,如果超過最大限制,系統(tǒng)會(huì)盡可能服務(wù),但不保證服務(wù)質(zhì)量。

寫入文檔數(shù)

寫入文檔數(shù)最大為5000 個(gè)/秒

非硬性限制,如果超過最大限制,系統(tǒng)會(huì)盡可能服務(wù),但不能保證服務(wù)質(zhì)量。

Shard數(shù)

單個(gè)索引最多可創(chuàng)建的Shard數(shù)

最多可創(chuàng)建300個(gè)Shard。

無。

配置

index.refresh_interval

云端托管集群中默認(rèn)配置此參數(shù),用戶側(cè)配置不生效。

無。

index.translog.durability

translog在云端托管集群中默認(rèn)配置為異步寫入模式(index.translog.durability=async),用戶側(cè)配置不生效。

無。

refresh、merge等寫入?yún)?shù)

云端托管集群中默認(rèn)已配置refresh、merge等寫入?yún)?shù),用戶側(cè)配置不生效。

默認(rèn)配置如下。

"index.merge.policy.max_merged_segment" : "1024mb",
"index.refresh_interval" : "30s",
"index.translog.durability" : "async",
"index.translog.flush_threshold_size" : "2gb",
"index.translog.sync_interval" : "100s"

索引

生命周期配置

不支持在索引生命周期中自定義freeze

無。

shrink操作

Indexing Service場(chǎng)景,索引處于托管狀態(tài),不兼容ILM Action中的shrink操作,建議當(dāng)索引處于未托管狀態(tài)時(shí),執(zhí)行shrink配置。詳細(xì)信息,請(qǐng)參見ILM-shrink

無。

取消托管時(shí)間

索引默認(rèn)托管3天后自動(dòng)取消托管。

可依據(jù)業(yè)務(wù)數(shù)據(jù)在生命周期中修改取消托管時(shí)間。

Ingest Node

  • 概念

    預(yù)處理操作允許在索引文檔之前,即寫入數(shù)據(jù)之前,通過事先定義好的一系列的processors(處理器)和pipeline(管道),對(duì)數(shù)據(jù)進(jìn)行某種轉(zhuǎn)化和富化。詳情請(qǐng)參見Ingest Node

  • 使用建議

    當(dāng)您使用時(shí)序?qū)懭隨erverless服務(wù)時(shí),如果在indexing之前使用ingest node來預(yù)處理documents,則ingest將在用戶集群做處理。建議不要使用過于復(fù)雜的加工處理邏輯。

性能測(cè)試

  • 測(cè)試環(huán)境:

    • 數(shù)據(jù)集:官方esrally提供的nyc_taxis

    • 集群規(guī)格:分別使用3個(gè)數(shù)據(jù)節(jié)點(diǎn)的2核8 GB、4核16 GB和8核32 GB規(guī)格。

    • 索引配置:分片數(shù)為15,副本數(shù)為1,均開啟translog異步寫入和物理復(fù)制功能,refresh_interval為5秒。

  • 測(cè)試結(jié)果:

    規(guī)格

    實(shí)例版本

    寫入TPS

    寫入可見性延遲

    3個(gè)數(shù)據(jù)節(jié)點(diǎn)的2核8 GB

    通用商業(yè)版

    24883

    5秒

    內(nèi)核增強(qiáng)版Indexing Service

    226649

    6秒

    3個(gè)數(shù)據(jù)節(jié)點(diǎn)的4核16 GB

    通用商業(yè)版

    52372

    5秒

    內(nèi)核增強(qiáng)版Indexing Service

    419574

    6秒

    3個(gè)數(shù)據(jù)節(jié)點(diǎn)的8核32 GB

    通用商業(yè)版

    110277

    5秒

    內(nèi)核增強(qiáng)版Indexing Service

    804010

    6秒

  • 測(cè)試結(jié)論:

    內(nèi)核增強(qiáng)版Indexing Service與通用商業(yè)版性能對(duì)比結(jié)果:

    • 基于3個(gè)數(shù)據(jù)節(jié)點(diǎn)的2核8 GB規(guī)格,性能提升了910%。

    • 基于3個(gè)數(shù)據(jù)節(jié)點(diǎn)的4核16 GB規(guī)格,性能提升了801%。

    • 基于3個(gè)數(shù)據(jù)節(jié)點(diǎn)的8核32 GB規(guī)格,性能提升了729%。

相關(guān)文檔