日志類型

概述

Logstore名稱

日志詳情

說明

詳細日志

包括Project內所有資源的創建、修改、更新、刪除操作日志和數據讀寫日志。

internal-operation_log

詳細日志

所有API請求和操作所涉及的詳細日志，包括控制臺、消費組、SDK等所有客戶端發送的請求。

重要日志

包括Logstore粒度的消費組消費延時日志、Logtail相關的錯誤、心跳和統計日志。

internal-diagnostic_log

消費組延遲日志

消費組的消費延時日志，每2分鐘上報一次。指定查詢消費組延遲日志時，需要在查詢語句中指定__topic__: consumergroup_log。

Logtail告警日志

Logtail的錯誤日志。

每30秒記錄一次，30秒內重復出現的錯誤類型只記錄錯誤總和，錯誤Message隨機選擇一條。指定查詢Logtail告警日志時，需要在查詢語句中指定__topic__: logtail_alarm。

Logtail采集日志

Logtail采集統計信息。

10分鐘記錄一次。查詢Logtail采集日志時，需要在查詢語句中指定__topic__: logtail_profile。

Logtail狀態日志

Logtail定時上報的狀態日志。

每分鐘記錄一次。指定查詢Logtail狀態日志時，需要在查詢語句中指定__topic__: logtail_status。

任務運行日志

記錄指定Project內數據加工（新版）、定時SQL、數據導入、數據投遞（新版）任務的運行指標和運行日志。

internal-diagnostic_log

定時SQL任務運行日志

一個定時SQL實例對應一條定時SQL日志，即一個定時SQL實例運行結束后，上報一條日志。

查詢定時SQL運行日志時，需要在查詢語句中指定__topic__: scheduled_sql_alert。

數據加工（新版）、導入和投遞（新版）任務運行日志

每分鐘上報一次日志。任務相關的數據源無數據時，不會上報。

分類

請求方式

讀操作

產生讀操作日志的請求方式如下：

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

寫操作

產生寫操作日志的請求方式如下：

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

資源操作

產生資源操作日志的請求方式如下：

CreateProject、DeleteProject等其他接口。

字段

說明

示例

logstore

Logstore名稱。

logstore-1

config_name

Logtail采集配置名稱。由##配置版本號##projectName$配置名稱組成，全局唯一。

##1.0##project-1$logstore-1

error_line

引起錯誤的原始日志。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

日志文件的device ID。

1?23

file_inode

日志文件的inode。

124

file_name

日志文件的完整路徑或者值為logstore_statistics。

/abc/file_1

file_size

日志文件大小，單位：字節。

12345

history_data_failures

歷史處理失敗次數。

0

last_read_time

時間窗口內最近的讀取時間，Unix時間戳。

1525346677

project

Project名稱。

project-1

logtail_version

Logtail版本。

0.14.2

os

操作系統。

Windows

parse_failures

時間窗口內日志解析失敗的行數。

12

read_avg_delay

時間窗口內平均每次讀取日志數據時，當前偏移量與文件大小差值的平均值。

65

read_count

時間窗口內日志讀取次數。

10

read_offset

當前讀取到文件偏移位置，單位：字節。

12345

regex_match_failures

正則表達式匹配失敗次數。

1

send_failures

時間窗口內發送失敗的次數。

12

source_ip

Logtail所在機器的IP地址。

47.100.**.**

succeed_lines

處理成功的日志行數。

123

time_format_failures

日志時間匹配失敗次數。

122

total_bytes

讀取的總字節數。

12345

字段

說明

示例

send_block_flag

時間窗口結束時發送隊列是否阻塞。

false

send_discard_error

時間窗口內因數據異常或無權限導致丟棄數據包的個數。

0

send_network_error

時間窗口內因網絡錯誤導致發送失敗的數據包個數。

12

send_queue_size

時間窗口結束時當前發送隊列中未發送數據包數。

3

send_quota_error

時間窗口內因Quota超限導致發送失敗的數據包個數。

0

send_success_count

時間窗口內發送成功的數據包個數。

12345

sender_valid_flag

時間窗口結束時該Logstore的發送標志位是否正常。

• true：正常。

• false：可能因為網絡錯誤或Quota錯誤而被禁用。

true

max_send_success_time

在時間窗口內最近一次發送數據成功的時間，為Unix時間戳。

1525342763

max_unsend_time

在時間窗口內，發送隊列中最近一次數據包發送失敗的時間。Unix時間戳，隊列為空時該值為0。

1525342764

min_unsend_time

在時間窗口內，發送隊列中第一次數據包發送失敗的時間。Unix時間戳，隊列為空時該值為0。

1525342764

字段

說明

示例

config_count

Logtail采集配置的數量。

?1

config_get_last_time

上一次獲取Logtail采集配置的時間。

2021-07-20 16:19:22

config_update_count

Logtail啟動后，Logtail采集配置更新的次數。

?1

config_update_item_count

Logtail啟動后，Logtail采集配置項更新的總和。

?1

config_update_last_time

Logtail啟動后，Logtail采集配置最后一次更新的時間。

2021-07-20 16:18:42

env_config

是否使用環境變量創建Logtail采集配置。

false

event_tps

事件TPS。

1?

last_read_event_time

上一次獲取事件的時間。

2021-07-20 16:18:42

last_send_time

上一次發送數據的時間。

2021-07-20 16:18:42

multi_config

是否開啟多個Logtail采集配置采集相同的文件。

false

net_err_stat

最近1分鐘、5分鐘和15分鐘內網絡發生錯誤的次數。

0,0,0

open_fd

目前打開的文件數量。

?1

plugin_enabled

是否使用了插件功能。

• true：使用了插件功能。

• false：未使用插件功能。

false

poll_modify_size

監聽修改事件的文件數量。

?1

polling_dir_cache

掃描的文件夾數量。

?1

polling_file_cache

掃描的文件數量。

?1

process_bytes_ps

每秒處理的日志量，單位：字節。

?1000

process_lines_ps

每秒處理的日志條數。

?1000

process_queue_full

達到最大長度限制的處理隊列個數。

?1

process_queue_total

處理隊列數量。

?10

process_tps

處理TPS。

?0

reader_count

正在處理的文件數。

?1

region

Logtail所在的地域。

?cn-hangzhou

register_handler

要監控的文件夾數量。

?1

send_bytes_ps

每秒發送的原始日志量（字節）。

?11111

send_lines_ps

每秒發送的日志條數。

1000?

send_net_bytes_ps

每秒發送的網絡數據量（字節）。

1000?

send_queue_full

達到最大長度限制的發送隊列個數。

?1

send_queue_total

發送隊列數量。

?12

send_request_concurrency

發送并發上限數。

10

send_tps

發送TPS。

?0.075

sender_invalid

異常的發送隊列數。

?0

start_time

啟動時間。

2021-07-20 16:19:22

used_sending_concurrency

當前已使用的發送并發數。

0

字段

說明

示例

action

任務的操作。

• ingest： 從數據源讀取數據

• deliver：將數據寫入到目標。

ingest

connector

數據源類型或者目標類型。

• sls：阿里云日志服務

• oss：阿里云對象存儲

• maxcompute：阿里云MaxCompute

• cms：阿里云云監控服務

• cloudtrail：AWS CloudTrail

• kafka：Apache Kafka

• elasticsearch：Elasticsearch

• mysql：MySQL（開源、阿里云等廠商）

• mssql：SQL Server（開源、阿里云等廠商）

oss

instance

數據源實例名稱或目標實例名稱。

my-oss-bucket

task_id

任務ID。

1669277

task_name

任務名稱。

1652765276578_task_0

task_type

任務類型，固定為CONNECTOR。

CONNECTOR

字段

說明

示例

state

任務運行狀態。

• 0：正常。

• 1：報錯，可能減緩運行進度。

• 2：失敗，完全阻塞運行。

0

error

任務運行的錯誤信息。

無錯誤信息時，日志中不存在該字段。

fail to pull logs, unauthorized

lags

任務運行進度。

只針對數據讀取任務，即action字段值為ingest時，日志中存在lags字段。該字段值與數據源類型（connector字段）相關。

• 當connector字段為sls時，lags字段值表示Shard消費延遲時間，單位：秒。

• 當connector字段為kafka時，lags字段值表示Topic級別的消費Lag。

• 當connector字段為cms時，lags字段值表示云監控讀取的延遲時間，單位：秒。

0.813

desc

只針對數據讀取任務，即action字段值為ingest時，日志中存在desc字段。該字段值與數據源類型（connector字段）相關。

• 當connector字段為sls時，desc字段值為時間單位s。

• 當connector字段為kafka時，desc字段值為lags描述信息。

• 當connector字段為cms時，desc字段值為時間單位s。

s

events

時間范圍內處理的數據條目數。

13245

failed

時間范圍內處理失敗的數據條目數。

3

native_bytes

時間范圍內處理的數據的原始大小。

7539125

events_bytes

時間范圍內處理的數據被解析后的大小。

13295475

pub_net_bytes

時間范圍內處理的數據的公網流量。

45678

req_count

時間范圍內數據源或者目標的請求次數。

89

req_count

時間范圍內數據源或者目標的平均請求延遲。

38

rate_limit_hits

時間范圍內數據源或者目標請求被限流次數。

1

extras

其他相關信息。當字段值存在時，日志中才會展示該字段。

該字段值與數據源類型（connector字段）相關。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}