采集Beats和Logstash數(shù)據(jù)源
本文介紹如何通過日志服務(wù)控制臺(tái)創(chuàng)建Logtail采集配置來采集Beats和Logstash數(shù)據(jù)源。
前提條件
已在服務(wù)器上安裝Linux Logtail 0.16.9及以上版本或Windows Logtail 1.0.0.8及以上版本。具體操作,請(qǐng)參見安裝Logtail(Linux系統(tǒng))或安裝Logtail(Windows系統(tǒng)) 。
已通過Logstash或Beats系列軟件采集到數(shù)據(jù)。
如果要通過Logstash采集數(shù)據(jù),請(qǐng)參見Logstash-Lumberjack-Output。
如果要通過Beats系列軟件采集數(shù)據(jù),請(qǐng)參見Beats-Lumberjack-Output。
本文以使用PacketBeat軟件采集本地網(wǎng)絡(luò)數(shù)據(jù)包,并使用Logtail Lumberjack插件上傳到日志服務(wù)為例,進(jìn)行說明。配置PacketBeat輸出方式為Logstash,示例如下所示。
output.logstash: hosts: ["127.0.0.1:5044"]
背景信息
基于Logstash、Beats系列軟件對(duì)Lumberjack協(xié)議的支持,Logtail可以通過Lumberjack協(xié)議將Beats系列軟件(MetricBeat、PacketBeat、Winlogbeat、Auditbeat、Filebeat、Heartbeat等)、Logstash采集的數(shù)據(jù)上傳到日志服務(wù)。
同一Logtail可配置多個(gè)Lumberjack插件,但多個(gè)插件不能監(jiān)聽同一端口。
Lumberjack插件支持SSL,上傳Logstash采集的數(shù)據(jù)需要使用該功能。
操作步驟
在接入數(shù)據(jù)區(qū)域,選擇自定義數(shù)據(jù)插件。
- 選擇目標(biāo)Project和Logstore,單擊下一步。
在機(jī)器組配置頁面,配置機(jī)器組。
根據(jù)實(shí)際需求,選擇使用場(chǎng)景和安裝環(huán)境。
重要無論是否已有機(jī)器組,都必須根據(jù)實(shí)際需求正確選擇使用場(chǎng)景和安裝環(huán)境,這將影響后續(xù)的頁面配置。
確認(rèn)目標(biāo)機(jī)器組已在應(yīng)用機(jī)器組區(qū)域,單擊下一步。
已有機(jī)器組
從源機(jī)器組列表選擇目標(biāo)機(jī)器組。
沒有可用機(jī)器組
單擊創(chuàng)建機(jī)器組,在創(chuàng)建機(jī)器組面板設(shè)置相關(guān)參數(shù)。機(jī)器組標(biāo)識(shí)分為IP地址和用戶自定義標(biāo)識(shí),更多信息請(qǐng)參見創(chuàng)建用戶自定義標(biāo)識(shí)機(jī)器組(推薦)或創(chuàng)建IP地址機(jī)器組。
重要創(chuàng)建機(jī)器組后立刻應(yīng)用,可能因?yàn)檫B接未生效,導(dǎo)致心跳為FAIL,您可單擊重試。如果還未解決,請(qǐng)參見Logtail機(jī)器組無心跳進(jìn)行排查。
在數(shù)據(jù)源設(shè)置頁簽中,設(shè)置配置名稱和插件配置,然后單擊下一步。
inputs為數(shù)據(jù)源配置,必選項(xiàng)。
重要一個(gè)inputs中只允許配置一個(gè)類型的數(shù)據(jù)源。
processors為處理配置,用于解析數(shù)據(jù)。可選項(xiàng),您可以配置一種或多種處理方式。
如果當(dāng)前的inputs配置無法滿足日志解析需求,您可以在插件配置中添加processors配置,即添加Logtail插件處理數(shù)據(jù)。例如提取字段、提取日志時(shí)間、脫敏數(shù)據(jù)、過濾日志等。更多信息,請(qǐng)參見使用Logtail插件處理數(shù)據(jù)。
由于Beats和Logstash輸出的都是JSON格式數(shù)據(jù),因此需要使用
processor_anchor
將JSON展開。{ "inputs": [ { "detail": { "BindAddress": "0.0.0.0:5044" }, "type": "service_lumberjack" } ], "processors": [ { "detail": { "Anchors": [ { "ExpondJson": true, "FieldType": "json", "Start": "", "Stop": "" } ], "SourceKey": "content" }, "type": "processor_anchor" } ] }
參數(shù)
類型
是否必選
說明
type
string
是
數(shù)據(jù)源類型,固定為service_lumberjack。
BindAddress
string
否
Lumberjack協(xié)議綁定的地址。不配置時(shí),默認(rèn)為127.0.0.1:5044,支持自定義。如果Lumberjack協(xié)議需要被局域網(wǎng)內(nèi)其他主機(jī)訪問,請(qǐng)配置為0.0.0.0:5044。
V1
boolean
否
是否使用Lumberjack V1版本協(xié)議。不配置時(shí),默認(rèn)為false。目前Logstash支持Lumberjack V1。
V2
boolean
否
是否使用Lumberjack V2版本協(xié)議。不配置時(shí),默認(rèn)為true。目前Beats系列軟件支持Lumberjack V2。
SSLCA
string
否
證書授權(quán)機(jī)構(gòu)(Certificate Authority)頒發(fā)的簽名證書路徑,默認(rèn)為空。如果是自簽名證書可不設(shè)置此選項(xiàng)。
SSLCert
string
否
證書的路徑,默認(rèn)為空。
SSLKey
string
否
證書對(duì)應(yīng)私鑰的路徑,默認(rèn)為空。
InsecureSkipVerify
boolean
否
是否跳過SSL安全檢查。不配置時(shí),默認(rèn)為false,執(zhí)行SSL安全檢查。
創(chuàng)建索引和預(yù)覽數(shù)據(jù),然后單擊下一步。日志服務(wù)默認(rèn)開啟全文索引。您也可以根據(jù)采集到的日志,手動(dòng)創(chuàng)建字段索引,或者單擊自動(dòng)生成索引,日志服務(wù)將自動(dòng)生成字段索引。更多信息,請(qǐng)參見創(chuàng)建索引。
重要如果需要查詢?nèi)罩局械乃凶侄危ㄗh使用全文索引。如果只需查詢部分字段、建議使用字段索引,減少索引流量。如果需要對(duì)字段進(jìn)行分析(SELECT語句),必須創(chuàng)建字段索引。
- 單擊查詢?nèi)罩?/b>,系統(tǒng)將跳轉(zhuǎn)至Logstore查詢分析頁面。您需要等待1分鐘左右,待索引生效后,才能在原始日志頁簽中,查看已采集到的日志。更多信息,請(qǐng)參見查詢和分析日志。
問題排查
使用Logtail采集日志后,如果預(yù)覽頁面或查詢頁面無數(shù)據(jù),您可以參見Logtail采集日志失敗的排查思路進(jìn)行排查。
后續(xù)步驟
Logtail采集數(shù)據(jù)到日志服務(wù)后,您可以在日志服務(wù)控制臺(tái)上進(jìn)行查看。
_@metadata_beat: packetbeat
_@metadata_type: doc
_@metadata_version: 6.2.4
_@timestamp: 2018-06-05T03:58:42.470Z
__source__: **.**.**.**
__tag__:__hostname__: *******
__topic__:
_beat_hostname: bdbe0b8d53a4
_beat_name: bdbe0b8d53a4
_beat_version: 6.2.4
_bytes_in: 56
_bytes_out: 56
_client_ip: 192.168.5.2
_icmp_request_code: 0
_icmp_request_message: EchoRequest(0)
_icmp_request_type: 8
_icmp_response_code: 0
_icmp_response_message: EchoReply(0)
_icmp_response_type: 0
_icmp_version: 4
_ip: 127.0.0.1
_path: 127.0.0.1
_responsetime: 0
_status: OK
_type: icmp