您可使用Telegraf采集Elasticsearch監控數據,再通過日志服務Logtail將Telegraf數據上傳到MetricStore中,搭建Elasticsearch可視化監控方案。本文介紹如何通過日志服務來完成Elasticsearch監控數據的采集和可視化。
前提條件
Telegraf所在的服務器可通過內網連接Elasticsearch服務器。
已創建Project和MetricStore。具體操作,請參見創建項目Project和創建MetricStore。
使用限制
只有Linux Logtail 0.16.48及以上版本的Logtail支持采集Elasticsearch監控數據。如果您已在服務器上安裝舊版本的Logtail,需先升級。具體操作,請參見安裝Logtail(Linux系統)。
操作步驟
登錄日志服務控制臺。
在接入數據區域的監控數據頁簽下,選擇Elasticsearch監控。
選擇目標Project和MetricStore,單擊下一步。
在創建機器組頁簽中。
如果已有可用的機器組,請單擊使用現有機器組。
如果您還沒有可用的機器組,請執行以下操作(以ECS為例)。
在ECS機器頁簽中,通過手動選擇實例方式選擇目標ECS實例,單擊創建。
具體操作,請參見安裝Logtail(ECS實例)。
重要如果您的服務器是與日志服務屬于不同賬號的ECS、其他云廠商的服務器和自建IDC時,您需要手動安裝Logtail。具體操作,請參見安裝Logtail(Linux系統)。手動安裝Logtail后,您必須在該服務器上手動配置用戶標識。具體操作,請參見配置用戶標識。
安裝完成后,單擊確認安裝完畢。
在創建機器組頁面,輸入名稱,單擊下一步。
日志服務支持創建IP地址機器組和用戶自定義標識機器組,詳細參數說明請參見創建IP地址機器組和創建用戶自定義標識機器組。
確認目標機器組已在應用機器組區域,單擊下一步。
重要創建機器組后立刻應用,可能因為連接未生效,導致心跳為FAIL,您可單擊自動重試。如果還未解決,請參見Logtail機器組無心跳進行排查。
在數據源設置頁簽中,配置如下參數。
參數名稱
說明
配置名稱
自定義設置Logtail采集配置名稱。
集群名稱
自定義設置Elasticsearch集群的名稱。
設置該參數后,日志服務會為通過該Logtail采集配置采集到的Elasticsearch監控數據添加
cluster=集群名稱
的標簽。重要請確保該集群名稱唯一,否則可能出現數據沖突。
服務器列表
添加Elasticsearch的信息,具體配置項如下:
地址:Elasticsearch的地址,可以為服務器的IP地址、主機名或域名。
端口:Elasticsearch的端口號,默認為9200。
您可以根據業務需求,添加多臺Elasticsearch的信息。
是否需要密碼
當目標Elasticsearch被設置了鑒權時,此處需要輸入Elasticsearch的賬戶和密碼。
索引名稱
添加Elasticsearch的索引名稱。配置為_all,表示采集Elasticsearch中所有索引的指標數據。
自定義標簽
為采集到的Elasticsearch監控數據添加自定義標簽,該標簽為鍵值對形式。
設置該參數后,日志服務會為通過該Logtail采集配置采集到的Elasticsearch監控數據添加標簽。
自定義Telegraf配置
日志服務基于開源指標采集工具Telegraf采集Elasticsearch監控數據,如果上述默認參數不滿足您的采集需求,您可以使用自定義Telegraf配置功能,進行個性化配置。相關的配置示例,請參見Configuration。
支持采集的指標列表,請參見Metrics。
常見問題
如何查看Telegraf采集是否正常?
您可以在服務器上查看/etc/ilogtail/telegraf/telegraf.log文件中記錄的日志進行判斷,還可以將該日志采集到日志服務中進行查詢。
后續步驟
查詢和分析
配置完成后,Telegraf將采集到的監控數據通過Logtail上傳到日志服務MetricStore中,您可以在MetricStore中進行查詢和分析操作。具體操作,請參見查詢和分析時序數據。
可視化
配置完成后,日志服務自動在對應Project中生成名為Elasticsearch監控_集群名稱的儀表盤,您可以直接使用該儀表盤,還可以進行告警設置等操作。