通過采集器(Beats),您可以采集云服務器ECS(Elastic Compute Service)中的日志文件、網絡數據、服務器指標等數據,發送到阿里云Elasticsearch或Logstash中進行監控、分析等操作。本文以Filebeat為例,介紹如何配置ECS服務日志采集。
前提條件
您已完成以下操作:
創建阿里云Elasticsearch實例或Logstash實例,本文以6.7.0版本為例。
具體操作,請參見創建阿里云Elasticsearch實例和創建阿里云Logstash實例。
開啟Elasticsearch實例的自動創建索引功能。
出于安全考慮,阿里云Elasticsearch默認不允許自動創建索引。但Beats采集ECS服務日志時,需要依賴該功能,因此如果采集器Output選擇為Elasticsearch,需要開啟自動創建索引功能。具體操作,請參見配置YML參數。
創建ECS實例,且該ECS實例與Elasticsearch實例或Logstash實例處于同一專有網絡下。
創建實例時,請選擇Alibaba Cloud Linux (Alinux)、RedHat或CentOS這三種操作系統,因為Beats僅支持這三種操作系統。具體操作,請參見自定義購買實例。
重要Beats默認安裝目錄為/opt/aliyunbeats/。安裝后,ECS上會生成conf、logs和data這3個目錄,分別映射了配置文件、Beats日志文件和Beats數據文件。建議不要刪除或修改這3個文件中的內容,否則可能出現異常或者導致數據不正確。當出現問題時,您可以在logs目錄下查看Beats日志來定位問題。
在目標ECS實例上安裝云助手和Docker服務。
具體操作,請參見安裝云助手Agent和部署并使用Docker。
重要請使用社區版Docker(docker-ce),使用其他版本Docker(例如podman-docker),Beats將部署失敗。
操作步驟
- 登錄阿里云Elasticsearch控制臺。
- 進入Beats數據采集中心。
- 在頂部菜單欄處,選擇地域。
- 在左側導航欄,單擊Beats數據采集中心。
- 可選:首次進入Beats數據采集中心頁面,需要在服務授權對話框中查看提示信息,無誤后單擊確認,授權系統創建服務關聯角色。說明 Beats采集不同數據源中的數據時,依賴于服務關聯角色以及角色規則。使用過程中請勿刪除服務關聯角色,否則會影響Beats使用。詳細信息,請參見阿里云ES服務關聯角色。
配置并啟動ECS服務日志采集。
說明以下操作以Filebeat為例。
在創建采集器區域,將鼠標移至Filebeat上,單擊ECS日志。
說明對于其他采集器,可直接單擊采集器名稱。例如創建Metricbeat采集器,可直接單擊Metricbeat。
在采集器配置配置向導中,輸入或選擇采集器信息。
參數
說明
采集器名稱
自定義輸入采集器的名稱。長度為1~30個字符,以大小寫字母開頭,可以包含字母、數字、下劃線(_)或連字符(-)。
安裝版本
目前Filebeat只支持6.8.5版本。
采集器Output
Filebeat采集內容的輸出地址。直接關聯已經創建的阿里云Elasticsearch或Logstash實例。訪問協議需要與所選Elasticsearch實例保持一致。
重要不支持選擇8.x版本的Elasticsearch實例。
用戶名密碼
如果采集器Output選擇Elasticsearch,需要提供對應的用戶名和密碼,使Filebeat有權限向Elasticsearch實例中寫入數據。用戶名默認為elastic,密碼在創建實例時設定,如果忘記可重置。重置密碼的注意事項和操作步驟,請參見重置實例訪問密碼。
啟用Monitoring
用來監控Filebeat的相關指標。如果采集器Output選擇Elasticsearch,Monitor默認使用和采集器Output相同的阿里云Elasticsearch實例;如果采集器Output選擇Logstash,則需要在配置文件中進行額外配置。
啟用Kibana Dashboard
用來配置默認的Kibana Dashboard。由于阿里云Kibana配置在VPC內,因此需要在Kibana配置頁面開通Kibana私網訪問功能。具體操作,請參見配置Kibana公網或私網訪問白名單。
填寫Filebeat文件目錄
Filebeat專有的配置項。由于阿里云采用Docker部署Beats,因此需要將您希望采集的目錄映射到Docker內,填寫時需要與
filebeat.yml
中的input.path
目錄保持一致。如果為多級目錄,只要指定任意一級目錄即可,不支持匹配*
,例如:input.path: /var/log/*/*.log
,則Filebeat文件目錄為/var/
或/var/log/
。重要路徑可以指定為目錄或完整路徑,也可以模糊匹配路徑下的某一類文件。
如果您需要采集多個目錄的日志,可單擊+添加,在文本框中輸入待采集的路徑,同時在采集器YML配置的paths參數中添加該路徑。
采集器YML配置
采集器配置文件。參考以下腳本,確保日志采集為開啟狀態, 且paths指定的目錄與您填寫的Filebeat文件目錄保持一致。
filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log
對于其他參數,請根據業務需求,修改對應配置,詳情請參見采集器YML配置。
重要指定采集器Output后,不需要再在采集器YML配置中單獨設置Output,否則會提示ECS采集器安裝錯誤。
阿里云Filebeat不支持自定義索引名,系統會默認創建名稱為filebeat-%{[agent.version]}-%{+yyyy.MM.dd}的索引,例如filebeat-6.8.5-2021.12.11。
單擊下一步。
可選:首次進入采集器安裝配置向導,需要單擊前往授權。再在云資源訪問授權頁面,單擊同意授權,為對應的Elasticsearch實例授予訪問ECS的權限。
授權服務由訪問控制(RAM)提供,確認授權后,系統將會為您自動創建AliyunElasticsearchAccessingOOSRole和AliyunOOSAccessingECS4ESRole系統角色,以上兩個系統角色的默認系統策略分別是AliyunElasticsearchAccessingOOSRolePolicy和AliyunOOSAccessingECS4ESRolePolicy,使用過程中請勿刪除系統角色和默認系統策略。
如果RAM控制臺授權的默認策略或系統角色被刪除,可通過云資源訪問授權進行快捷授權,并為RAM用戶授予以下自定義權限,否則會出現權限不足的報錯。創建自定義權限的具體操作,請參見創建自定義權限策略。
{ "Version": "1", "Statement": [ { "Effect": "Allow", "Action": [ "ram:CreateRole", "ram:AttachPolicyToRole", "ram:GetRole" ], "Resource": "acs:ram:*:*:role/*", "Condition": { "ForAllValues:StringEquals": { "ram:TrustedPrincipalTypes": "Service", "ram:ServiceNames": [ "elasticsearch.aliyuncs.com", "oos.aliyuncs.com" ] } } }, { "Effect": "Allow", "Action": "ram:AttachPolicyToRole", "Resource": "acs:ram:*:*:policy/*" }, { "Action": "ram:PassRole", "Resource": "*", "Effect": "Allow", "Condition": { "StringEquals": { "acs:Service": "elasticsearch.aliyuncs.com" } } } ] }
在采集器安裝配置向導中,選擇需要操作的ECS實例。
說明采集器安裝實例列表中會顯示當前賬號下,所有和采集器Output所選的Elasticsearch實例或Logstash實例處于同一個專有網絡下的ECS,并且只有已經安裝云助手及Docker服務的ECS才能安裝采集器。
單擊啟動。
在啟動成功對話框中,單擊前往采集中心查看。在采集器列表中,查看創建成功的采集器。
等待采集器狀態變為已生效,說明采集器創建成功。已生效后面的兩個數字分別表示安裝成功的ECS數和目標ECS數,如果ECS實例生效成功,則兩邊數字相等。
查看運行實例。
采集器創建成功后,您可以查看運行實例,判斷采集器是否安裝成功,并根據提示處理異常情況。
在采集器管理區域,單擊對應采集器右側操作列下的查看運行實例。
在查看運行實例頁面,查看采集器安裝情況。
采集器安裝情況分為3種:心跳正常、心跳異常、安裝失敗。在心跳異常或者安裝失敗的情況下,您可以選擇移除或者重試問題節點。如果重試失敗,可參見Beats安裝失敗的排查與解決方法排查解決。
可選:查看Monitoring或Dashboard。
如果您在創建采集器時選中了啟用Monitoring或啟用Kibana Dashboard,那么Beats啟動后,可以在對應Elasticsearch實例的Kibana中查看Monitor信息或Dashboard圖表。
在采集器管理區域,選擇對應采集器右側操作列下的 。
在Kibana控制臺登錄頁面,輸入用戶名和密碼,單擊登錄。
在左側導航欄,單擊Dashboard,再單擊對應指標,查看該指標的Dashboard圖表。
在左側導航欄,單擊Monitoring,再單擊對應監控項,查看該監控項的Monitoring信息。
相關文檔
創建采集器的API文檔:CreateCollector
常見問題
Beats如何采集多個目錄下的日志?
在配置采集器時,單擊+添加,在文本框中輸入待采集的路徑,同時在采集器YML配置的paths參數中添加該路徑。
基于ECS安裝阿里云Beats失敗了,如何處理?
請參見Beats安裝失敗的排查與解決方法排查解決。