日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

采集Beats和Logstash數(shù)據(jù)源

更新時(shí)間:

本文介紹如何通過日志服務(wù)控制臺(tái)創(chuàng)建Logtail采集配置來采集Beats和Logstash數(shù)據(jù)源。

前提條件

  • 已在服務(wù)器上安裝Linux Logtail 0.16.9及以上版本或Windows Logtail 1.0.0.8及以上版本。具體操作,請(qǐng)參見安裝Logtail(Linux系統(tǒng))安裝Logtail(Windows系統(tǒng))

  • 已通過Logstash或Beats系列軟件采集到數(shù)據(jù)。

    • 如果要通過Logstash采集數(shù)據(jù),請(qǐng)參見Logstash-Lumberjack-Output

    • 如果要通過Beats系列軟件采集數(shù)據(jù),請(qǐng)參見Beats-Lumberjack-Output

      本文以使用PacketBeat軟件采集本地網(wǎng)絡(luò)數(shù)據(jù)包,并使用Logtail Lumberjack插件上傳到日志服務(wù)為例,進(jìn)行說明。配置PacketBeat輸出方式為Logstash,示例如下所示。

      output.logstash:
        hosts: ["127.0.0.1:5044"]

背景信息

基于Logstash、Beats系列軟件對(duì)Lumberjack協(xié)議的支持,Logtail可以通過Lumberjack協(xié)議將Beats系列軟件(MetricBeat、PacketBeat、Winlogbeat、Auditbeat、Filebeat、Heartbeat等)、Logstash采集的數(shù)據(jù)上傳到日志服務(wù)。

說明
  • 同一Logtail可配置多個(gè)Lumberjack插件,但多個(gè)插件不能監(jiān)聽同一端口。

  • Lumberjack插件支持SSL,上傳Logstash采集的數(shù)據(jù)需要使用該功能。

操作步驟

  1. 登錄日志服務(wù)控制臺(tái)

  2. 接入數(shù)據(jù)區(qū)域,選擇自定義數(shù)據(jù)插件

  3. 選擇目標(biāo)Project和Logstore,單擊下一步
  4. 機(jī)器組配置頁面,配置機(jī)器組。

    1. 根據(jù)實(shí)際需求,選擇使用場(chǎng)景和安裝環(huán)境。

      重要

      無論是否已有機(jī)器組,都必須根據(jù)實(shí)際需求正確選擇使用場(chǎng)景和安裝環(huán)境,這將影響后續(xù)的頁面配置。

    2. 確認(rèn)目標(biāo)機(jī)器組已在應(yīng)用機(jī)器組區(qū)域,單擊下一步

      已有機(jī)器組

      源機(jī)器組列表選擇目標(biāo)機(jī)器組。

      image

      沒有可用機(jī)器組

      單擊創(chuàng)建機(jī)器組,在創(chuàng)建機(jī)器組面板設(shè)置相關(guān)參數(shù)。機(jī)器組標(biāo)識(shí)分為IP地址用戶自定義標(biāo)識(shí),更多信息請(qǐng)參見創(chuàng)建用戶自定義標(biāo)識(shí)機(jī)器組(推薦)創(chuàng)建IP地址機(jī)器組

      重要

      創(chuàng)建機(jī)器組后立刻應(yīng)用,可能因?yàn)檫B接未生效,導(dǎo)致心跳為FAIL,您可單擊重試。如果還未解決,請(qǐng)參見Logtail機(jī)器組無心跳進(jìn)行排查。

  5. 數(shù)據(jù)源設(shè)置頁簽中,設(shè)置配置名稱插件配置,然后單擊下一步

    • inputs為數(shù)據(jù)源配置,必選項(xiàng)。

      重要

      一個(gè)inputs中只允許配置一個(gè)類型的數(shù)據(jù)源。

    • processors為處理配置,用于解析數(shù)據(jù)。可選項(xiàng),您可以配置一種或多種處理方式。

      如果當(dāng)前的inputs配置無法滿足日志解析需求,您可以在插件配置中添加processors配置,即添加Logtail插件處理數(shù)據(jù)。例如提取字段、提取日志時(shí)間、脫敏數(shù)據(jù)、過濾日志等。更多信息,請(qǐng)參見使用Logtail插件處理數(shù)據(jù)

    由于Beats和Logstash輸出的都是JSON格式數(shù)據(jù),因此需要使用processor_anchor將JSON展開。

    {
      "inputs": [
        {
          "detail": {
            "BindAddress": "0.0.0.0:5044"
          },
          "type": "service_lumberjack"
        }
      ],
      "processors": [
        {
          "detail": {
            "Anchors": [
              {
                "ExpondJson": true,
                "FieldType": "json",
                "Start": "",
                "Stop": ""
              }
            ],
            "SourceKey": "content"
          },
          "type": "processor_anchor"
        }
      ]
    }
                            

    參數(shù)

    類型

    是否必選

    說明

    type

    string

    數(shù)據(jù)源類型,固定為service_lumberjack

    BindAddress

    string

    Lumberjack協(xié)議綁定的地址。不配置時(shí),默認(rèn)為127.0.0.1:5044,支持自定義。如果Lumberjack協(xié)議需要被局域網(wǎng)內(nèi)其他主機(jī)訪問,請(qǐng)配置為0.0.0.0:5044

    V1

    boolean

    是否使用Lumberjack V1版本協(xié)議。不配置時(shí),默認(rèn)為false。目前Logstash支持Lumberjack V1。

    V2

    boolean

    是否使用Lumberjack V2版本協(xié)議。不配置時(shí),默認(rèn)為true。目前Beats系列軟件支持Lumberjack V2。

    SSLCA

    string

    證書授權(quán)機(jī)構(gòu)(Certificate Authority)頒發(fā)的簽名證書路徑,默認(rèn)為空。如果是自簽名證書可不設(shè)置此選項(xiàng)。

    SSLCert

    string

    證書的路徑,默認(rèn)為空。

    SSLKey

    string

    證書對(duì)應(yīng)私鑰的路徑,默認(rèn)為空。

    InsecureSkipVerify

    boolean

    是否跳過SSL安全檢查。不配置時(shí),默認(rèn)為false,執(zhí)行SSL安全檢查。

  6. 創(chuàng)建索引預(yù)覽數(shù)據(jù),然后單擊下一步。日志服務(wù)默認(rèn)開啟全文索引。您也可以根據(jù)采集到的日志,手動(dòng)創(chuàng)建字段索引,或者單擊自動(dòng)生成索引,日志服務(wù)將自動(dòng)生成字段索引。更多信息,請(qǐng)參見創(chuàng)建索引

    重要

    如果需要查詢?nèi)罩局械乃凶侄危ㄗh使用全文索引。如果只需查詢部分字段、建議使用字段索引,減少索引流量。如果需要對(duì)字段進(jìn)行分析(SELECT語句),必須創(chuàng)建字段索引。

  7. 單擊查詢?nèi)罩?/b>,系統(tǒng)將跳轉(zhuǎn)至Logstore查詢分析頁面。
    您需要等待1分鐘左右,待索引生效后,才能在原始日志頁簽中,查看已采集到的日志。更多信息,請(qǐng)參見查詢和分析日志

問題排查

使用Logtail采集日志后,如果預(yù)覽頁面或查詢頁面無數(shù)據(jù),您可以參見Logtail采集日志失敗的排查思路進(jìn)行排查。

后續(xù)步驟

Logtail采集數(shù)據(jù)到日志服務(wù)后,您可以在日志服務(wù)控制臺(tái)上進(jìn)行查看。

_@metadata_beat:  packetbeat
_@metadata_type:  doc
_@metadata_version:  6.2.4
_@timestamp:  2018-06-05T03:58:42.470Z
__source__:  **.**.**.**
__tag__:__hostname__:  *******
__topic__:  
_beat_hostname:  bdbe0b8d53a4
_beat_name:  bdbe0b8d53a4
_beat_version:  6.2.4
_bytes_in:  56
_bytes_out:  56
_client_ip:  192.168.5.2
_icmp_request_code:  0
_icmp_request_message:  EchoRequest(0)
_icmp_request_type:  8
_icmp_response_code:  0
_icmp_response_message:  EchoReply(0)
_icmp_response_type:  0
_icmp_version:  4
_ip:  127.0.0.1
_path:  127.0.0.1
_responsetime:  0
_status:  OK
_type:  icmp