集群管理概述
在使用阿里云Elasticsearch集群時(shí)，針對(duì)不同的使用場(chǎng)景會(huì)涉及到對(duì)集群不同的管理方式。本文對(duì)集群管理方式以及功能描述進(jìn)行了匯總，以便幫您快速了解各功能。
類別 | 相關(guān)文檔 | 功能描述 |
冷熱分離與生命周期管理 | 對(duì)于時(shí)間序列數(shù)據(jù)，會(huì)隨著時(shí)間的積累越來(lái)越大，您可以通過(guò)索引生命周期管理ILM（Index Lifecycle Management）定期將數(shù)據(jù)滾動(dòng)到新索引，防止因數(shù)據(jù)過(guò)大影響查詢效率和成本。隨著索引的老化和查詢頻率的降低，您可以將其轉(zhuǎn)移到價(jià)格較低的磁盤上，并減少分片和副本的數(shù)量。 | |
冷熱集群是指在集群中包含冷、熱兩種屬性的節(jié)點(diǎn)，可以提高Elasticsearch的處理性能和服務(wù)穩(wěn)定性。 在使用阿里云Elasticsearch集群時(shí)，您可以通過(guò)使用生命周期管理ILM（Index Lifecycle Management）功能，實(shí)現(xiàn)冷熱數(shù)據(jù)分離目標(biāo)。該功能可以為您實(shí)現(xiàn)在保證集群讀寫(xiě)性能的基礎(chǔ)上，自動(dòng)維護(hù)集群上的冷熱數(shù)據(jù)，又能通過(guò)優(yōu)化集群架構(gòu)，降低企業(yè)生產(chǎn)成本。 | ||
X-Pack高級(jí)特性應(yīng)用 | 通過(guò)跨集群復(fù)制功能，您可以將本地Elasticsearch集群中的索引數(shù)據(jù)遷移到一個(gè)遠(yuǎn)程集群中，或者將一個(gè)遠(yuǎn)程集群中的索引數(shù)據(jù)遷移到本地集群，實(shí)現(xiàn)集群高可用及容災(zāi)備份，或跨地域數(shù)據(jù)的就近訪問(wèn)。 | |
在使用阿里云Elasticsearch集群時(shí)，您可以通過(guò)配置輕量目錄訪問(wèn)協(xié)議LDAP（Lightweight Directory Access Protocol）認(rèn)證，實(shí)現(xiàn)相應(yīng)角色的LDAP用戶訪問(wèn)目標(biāo)阿里云Elasticsearch實(shí)例。 | ||
當(dāng)您需要設(shè)置集群、索引、字段或其他操作的訪問(wèn)權(quán)限時(shí)，可以通過(guò)Elasticsearch X-Pack的RBAC（Role-based Access Control）機(jī)制，為自定義角色分配權(quán)限，并將角色分配給用戶，實(shí)現(xiàn)權(quán)限管控。Elasticsearch提供了多種內(nèi)置角色，您可以在內(nèi)置角色的基礎(chǔ)上擴(kuò)展自定義角色，以滿足特定需求。 | ||
基于阿里云Elasticsearch配置活動(dòng)目錄AD（Active Directory）身份認(rèn)證，以實(shí)現(xiàn)AD域下相應(yīng)角色的用戶訪問(wèn)阿里云Elasticsearch。 | ||
日志全觀測(cè)應(yīng)用 | Elastic可觀測(cè)性是通過(guò)Kibana可視化能力，將日志、指標(biāo)及APM數(shù)據(jù)結(jié)合在一起，實(shí)現(xiàn)對(duì)容器數(shù)據(jù)的觀測(cè)和分析。當(dāng)您的應(yīng)用程序以Pods方式部署在Kubernetes中，可以在Kibana中查看Pods生成日志、主機(jī)和網(wǎng)絡(luò)上的事件指標(biāo)及APM數(shù)據(jù)，逐步縮小排查范圍進(jìn)行故障排查。 | |
通過(guò)使用阿里云Elasticsearch 7.10內(nèi)核增強(qiáng)版Indexing Service索引構(gòu)建功能，可以為您實(shí)現(xiàn)云托管寫(xiě)入加速和按流量付費(fèi)（即您無(wú)需按集群峰值寫(xiě)入吞吐預(yù)留資源），能夠極低成本實(shí)現(xiàn)海量時(shí)序日志分析。 | ||
通過(guò)OpenStore智能混合存儲(chǔ)實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ) | OpenStore智能混合存儲(chǔ)是阿里云Elasticsearch團(tuán)隊(duì)自研的針對(duì)日志場(chǎng)景的低成本、高效、彈性存儲(chǔ)解決方案，能夠?yàn)槟谌罩緢?chǎng)景中提供海量存儲(chǔ)服務(wù)。 | |
數(shù)據(jù)管理與可視化 | 通過(guò)Terraform，您可以使用代碼配置實(shí)現(xiàn)物理機(jī)等資源的分配。即通過(guò)Terraform，寫(xiě)一個(gè)配置文件，就可以幫助您購(gòu)買一臺(tái)云服務(wù)器，或者申請(qǐng)到阿里云Elasticsearch、OSS等云資源。通過(guò)Terraform管理阿里云Elasticsearch的方法，包括創(chuàng)建、更新、查看、刪除實(shí)例等操作。 | |
Curator是Elasticsearch官方提供的一個(gè)索引管理工具，該工具為您提供了刪除、創(chuàng)建、關(guān)閉、段合并索引等功能。 | ||
對(duì)于時(shí)序數(shù)據(jù)場(chǎng)景，隨著時(shí)間的積累數(shù)據(jù)量會(huì)越來(lái)越大。如果一直保留詳細(xì)數(shù)據(jù)，會(huì)導(dǎo)致存儲(chǔ)成本線性增長(zhǎng)，此時(shí)您可以通過(guò)Elasticsearch的RollUp機(jī)制節(jié)省數(shù)據(jù)存儲(chǔ)成本。 | ||
通過(guò)在DataV中添加阿里云Elasticsearch數(shù)據(jù)源，您可以使用DataV訪問(wèn)阿里云Elasticsearch服務(wù)，完成數(shù)據(jù)的查詢與展示。 | ||
除了Kibana、curl命令、客戶端等方式，您還可以通過(guò)Elasticsearch-Head、Cerebro等第三方插件或工具訪問(wèn)阿里云Elasticsearch實(shí)例。 | ||
集群報(bào)警通知 | 通過(guò)為阿里云Elasticsearch添加X(jué)-Pack Watcher，可以實(shí)現(xiàn)當(dāng)滿足某些條件時(shí)執(zhí)行某些操作。例如當(dāng)logs索引中出現(xiàn)error日志時(shí)，觸發(fā)系統(tǒng)自動(dòng)發(fā)送報(bào)警郵件、釘釘消息或機(jī)器人消息。可以簡(jiǎn)單地理解為X-Pack Watcher是一個(gè)基于Elasticsearch實(shí)現(xiàn)的監(jiān)控報(bào)警服務(wù)。 | |