Logtail發(fā)布?xì)v史
本文介紹日志服務(wù)Logtail的發(fā)布?xì)v史。
2.1.1
發(fā)布時(shí)間:2024-11-01
新功能
新增使用C++實(shí)現(xiàn)的容器標(biāo)準(zhǔn)輸出采集。
自監(jiān)控能力升級(jí),C++模塊和 Golang 插件模塊統(tǒng)一上報(bào)自監(jiān)控?cái)?shù)據(jù)。
2.0.10
發(fā)布時(shí)間:2024.10.19
修復(fù)
修復(fù)了bin log插件在GTID超過1024字節(jié)時(shí)無(wú)法獲取GTID的問題。
修復(fù)了原生分隔符插件在處理包含雙引號(hào)的字符串時(shí)解析失敗的問題。
2.0.8
發(fā)布時(shí)間:2024.08.13
修復(fù)
修復(fù)2.0.7版本引入的ENV管控方式token過期問題。
2.0.7
發(fā)布時(shí)間:2024.07.31
修復(fù)
修復(fù)轉(zhuǎn)義零字節(jié)導(dǎo)致JSON截?cái)唷?
修復(fù)使用非線程安全的gethostbyname方法導(dǎo)致的coredump問題 。
修復(fù)opentelemetry解析gauge類型指標(biāo)數(shù)據(jù)的時(shí)候缺失標(biāo)簽的問題 。
修復(fù)從checkpoint恢復(fù)的時(shí)候,輪轉(zhuǎn)文件過多可能導(dǎo)致超出reader隊(duì)列長(zhǎng)度的reader恢復(fù)失敗,進(jìn)一步引發(fā)在inode復(fù)用時(shí),新的reader讀到了錯(cuò)誤的老reader的checkpoint,這會(huì)導(dǎo)致截?cái)嗪椭貜?fù)采集 。
修復(fù)
input_canel
插件GTID不準(zhǔn)確的問題 。當(dāng)資源使用超過硬限制的時(shí)候立刻自殺 。
2.0.6
發(fā)布時(shí)間:2024.07.03
新功能
增加對(duì)容器計(jì)算服務(wù)(ACS)rund架構(gòu)支持。
2.0.5
發(fā)布時(shí)間:2024.06.25
優(yōu)化
containerd sock重試容錯(cuò)機(jī)制優(yōu)化。
修復(fù)
修復(fù)2.0.4版本引入的k8s場(chǎng)景環(huán)境變量配置不生效的問題。
修復(fù)標(biāo)準(zhǔn)輸出場(chǎng)景
GetRealPath
函數(shù)導(dǎo)致的插件模塊panic
問題。修復(fù)包含拓展插件的時(shí)候,神農(nóng)自監(jiān)控日志缺失問題。
修復(fù)超時(shí)讀截?cái)鄦栴}。
系統(tǒng)時(shí)間去納秒支持。
多上切分插件指標(biāo)缺失。
1.8.11
發(fā)布時(shí)間:2024.09.04
優(yōu)化
優(yōu)化了容器運(yùn)行時(shí)的探測(cè)重試機(jī)制,并修復(fù)了運(yùn)行時(shí)識(shí)別不準(zhǔn)確的問題。
從
config server
拉取配置的時(shí)候支持DNS cache
。多行分隔超時(shí)時(shí)間默認(rèn)設(shè)置成60秒。
processor_gotime
支持納秒配置。
修復(fù)
修復(fù)
bin log
插件當(dāng)GTID超過1024字節(jié)之后不能獲取GTID的問題。修復(fù)原生分隔符插件包含雙引號(hào)的時(shí)候解析失敗的問題。
修復(fù)內(nèi)部
gethostbyname
函數(shù)線程不安全問題。
1.8.10
發(fā)布時(shí)間:2024.07.12
優(yōu)化
支持使用環(huán)境變量
ALICLOUD_SLS_CLIENT_AUTH_VERSION
配置Logtail使用的SDK的V4鑒權(quán)。
1.8.9
發(fā)布時(shí)間:2024.06.25
優(yōu)化
容器運(yùn)行時(shí)探測(cè)重試機(jī)制優(yōu)化。
修復(fù)
修復(fù)
dockershim
文件存在的情況下,containerd
運(yùn)行時(shí)識(shí)別不準(zhǔn)確的問題。修復(fù)文件路徑中存在
*//
導(dǎo)致的coredump
問題。修復(fù)采集容器標(biāo)準(zhǔn)輸出場(chǎng)景獲取文件路徑異常問題。
修復(fù)文件輪轉(zhuǎn)的時(shí)候強(qiáng)制刷新數(shù)據(jù)不完全的問題。
1.8.8
發(fā)布時(shí)間:2024.04.17
優(yōu)化
優(yōu)化發(fā)送模塊
sender
的日志打印。修復(fù)
日志內(nèi)容中重復(fù)key場(chǎng)景兼容并且保證key順序正確。
修復(fù)用戶標(biāo)識(shí)
aliuid
文件刪除的情況下日志仍然采集的問題。
1.8.7
發(fā)布時(shí)間:2024.03.05
新功能
Logtail-ds組件在ACK場(chǎng)景下支持資源組配置。
拓展插件新增
processor_rate_limit
插件。
修復(fù)
修復(fù)Logtail使用歷史數(shù)據(jù)采集之后進(jìn)程無(wú)法優(yōu)雅退出的問題。
1.8.6
發(fā)布時(shí)間:2024.01.30
優(yōu)化
Golang插件指標(biāo)數(shù)據(jù)和上報(bào)邏輯優(yōu)化,指標(biāo)統(tǒng)一通過C++指標(biāo)模塊上報(bào)
修復(fù)
修復(fù)開啟高精度時(shí)間戳開關(guān)后Golang模塊誤加載問題
1.8.5
發(fā)布時(shí)間:2024.01.24
修復(fù)
修復(fù)標(biāo)簽數(shù)據(jù)多線程處理導(dǎo)致Golang插件模塊異常的問題
1.8.4
發(fā)布時(shí)間:2024.01.04
優(yōu)化
goprofile插件上報(bào)數(shù)據(jù)中使用機(jī)器的IP地址
修復(fù)
修復(fù)正則配置time_key沒有默認(rèn)設(shè)置為time的兼容性問題
修復(fù)使用libcurl因沒有設(shè)置CURLOPT_NOSIGNAL導(dǎo)致偶爾崩潰的問題
修復(fù)原生分隔符解析插件解析行首有空格的日志時(shí)字段錯(cuò)亂的問題
修復(fù)原生插件丟棄超時(shí)日志時(shí)區(qū)處理錯(cuò)誤的問題
修復(fù)解析任意含有content key的JSON后,原生JSON插件總是錯(cuò)誤保留原始content字段的問題
修復(fù)原生分隔符插件的內(nèi)存泄露問題
修復(fù)因檢查點(diǎn)轉(zhuǎn)儲(chǔ)早于目錄注冊(cè)導(dǎo)致的日志重復(fù)問題
修復(fù)飛天日志無(wú)法解析帶逗號(hào)時(shí)間格式的兼容性問題
原生解析失敗并選擇保留原始日志,原始日志將僅保留在__raw_log__而不再保留在content字段以避免數(shù)據(jù)重復(fù)
修復(fù)K8s集群Pod網(wǎng)絡(luò)為HostNetwork時(shí)獲取到的容器IP有時(shí)為空的問題
1.8.3
修復(fù)
解決因容器內(nèi)存修復(fù)引入的日志重復(fù)采集問題
修復(fù)container info含nil字段導(dǎo)致的插件崩潰
修復(fù)ProcessorParseDelimiterNative解析攜帶下一行數(shù)據(jù)的問題
修復(fù)在反壓情況下可能出現(xiàn)的文件無(wú)法讀完的問題
修復(fù)plugin_export panic導(dǎo)致插件崩潰的問題
修復(fù)解析Apsara格式日志導(dǎo)致的崩潰問題
修復(fù)解析Apsara格式日志解析數(shù)據(jù)黏連問題
1.8.0
新功能
支持超時(shí)切分行。
日志服務(wù)Flusher支持納秒級(jí)日志時(shí)間。
新增全局主機(jī)路徑黑名單。
新增Trace解析插件processor_otel_metric。
以環(huán)境變量方式創(chuàng)建Logtail配置時(shí)支持添加資源標(biāo)簽。
優(yōu)化
緩存未構(gòu)成完整行的日志,減少讀文件系統(tǒng)調(diào)用。
支持使用環(huán)境變量控制日志打印級(jí)別。
skywalking插件支持捕獲db.connection_string標(biāo)簽。
校驗(yàn)網(wǎng)卡IP地址以獲取更精確的主機(jī)IP地址。
修復(fù)
解決采集有掛載卷的statefulset漂移到不同節(jié)點(diǎn)時(shí)數(shù)據(jù)重復(fù)采集的問題。
修復(fù)空文件inode復(fù)用后導(dǎo)致采集到的日志文件名錯(cuò)誤的問題。
修復(fù)因Checkpoint重新打開文件導(dǎo)致容器無(wú)法退出的問題。
修復(fù)飛天日志時(shí)間無(wú)法調(diào)整時(shí)區(qū)的問題。
修復(fù)JSON模式日志解析時(shí),最后沒有回車可能解析不正確的問題。
修復(fù)讀取到的數(shù)據(jù)開頭含有非法JSON時(shí),JSON解析異常的問題。
1.7.1
新功能
新增采集插件input_command,支持采集命令執(zhí)行結(jié)果。
新增處理插件processor_log_to_sls_metric,支持將Log解析為Metric。
優(yōu)化
processor_json插件支持解析JSON array格式數(shù)據(jù)。
containerd容器采集支持自定義rootfs路徑和自動(dòng)發(fā)現(xiàn)路徑。
優(yōu)化容器元信息預(yù)覽功能的上報(bào)邏輯。
修復(fù)
修復(fù)stdout文件路徑為軟鏈接時(shí)無(wú)法采集容器stdout的問題。
修復(fù)當(dāng)只有容器刪除事件時(shí)容器因FD鎖住無(wú)法退出的問題。
修復(fù)service_go_profile插件報(bào)nil panic問題。
采集磁盤相關(guān)指標(biāo)時(shí)增加超時(shí)配置,避免采集異常。
修復(fù)容器場(chǎng)景下profile數(shù)據(jù)元信息不準(zhǔn)確的問題。
1.6.0
新功能
全棧監(jiān)控應(yīng)用支持采集Kubernetes openkruise指標(biāo)數(shù)據(jù)。
優(yōu)化
Logtailprofile數(shù)據(jù)增加容器元信息數(shù)據(jù)。
問題修復(fù)
修復(fù)容器退出導(dǎo)致的FD被釋放問題。
修復(fù)Kubernetes場(chǎng)景下Env配置緩存問題。
1.5.1
新功能
新增啟動(dòng)參數(shù)data_endpoint_policy,支持設(shè)置Logtail對(duì)日志服務(wù)訪問域名的切換策略。
Profiling功能支持goprofile拉取模式。
新增字符串替換插件processor_string_replace。
Logtail支持通過HTTP_PROXY配置網(wǎng)絡(luò)代理。
優(yōu)化
優(yōu)化了processor_split_key_value插件的性能,并增加多字符引用符。
問題修復(fù)
修復(fù)metric_system_v2插件磁盤用量指標(biāo)統(tǒng)計(jì)問題。
1.4.0
新功能
HTTP輸入服務(wù)新增Pyroscope協(xié)議。
支持上報(bào)端上容器信息,增強(qiáng)容器采集配置可觀測(cè)性。
優(yōu)化
ENV自動(dòng)采集方式支持更多Logstore相關(guān)的配置參數(shù),例如冷存儲(chǔ)配置。
1.3.2
優(yōu)化
prometheus抓取插件支持Staleness數(shù)據(jù)。
問題修復(fù)
修復(fù)時(shí)區(qū)相關(guān)問題,使用系統(tǒng)時(shí)間和解析日志時(shí)間失敗時(shí)忽略時(shí)區(qū)調(diào)整選項(xiàng)的問題。
修復(fù)因inode復(fù)用導(dǎo)致的日志重復(fù)采集問題。
修復(fù)Grok插件在解析中文時(shí)可能會(huì)不工作的問題。
修復(fù)1.2.1版本中引入的容器發(fā)現(xiàn)所占用的內(nèi)存過高的問題。
1.3.1
新功能
支持通過HTTP接入Open Telemetry協(xié)議日志。
新增脫敏插件processor_desensitize。更多信息,請(qǐng)參見脫敏插件。
優(yōu)化
在容器環(huán)境下,使用環(huán)境變量方式創(chuàng)建SLS資源時(shí)支持使用HTTPS協(xié)議。
在容器環(huán)境下,通過CRD方式創(chuàng)建Logstore時(shí),支持選擇Logstore規(guī)格。
使用插件處理數(shù)據(jù)時(shí)也支持輸出內(nèi)容在文件內(nèi)偏移量。
默認(rèn)支持采集容器標(biāo)準(zhǔn)輸出時(shí),保持連續(xù)的上下文。
Prometheus數(shù)據(jù)接入內(nèi)存優(yōu)化。
問題修復(fù)
修復(fù)Docker環(huán)境下潛在的FD泄露和事件遺漏問題。
修復(fù)Logtail采集配置更新時(shí)文件句柄泄露的問題。
修復(fù)IP地址在特殊主機(jī)名下解析錯(cuò)誤的問題。
修復(fù)多個(gè)配置路徑存在父子目錄關(guān)系時(shí)文件重復(fù)采集的問題。
1.2.1
新功能
支持采集SQL Server、PostgreSQL查詢結(jié)果。更多信息,請(qǐng)參見采集SQL Server查詢結(jié)果、采集PostgreSQL查詢結(jié)果。
支持采集JMX性能指標(biāo)。
新增日志上下文聚合插件(aggregator_context插件)。更多信息,請(qǐng)參見aggregators配置。
使通過Logtail插件處理的日志的上下文查詢、__topic__字段提取和LiveTail等功能可用。
新增Grok插件,用于提取日志字段。更多信息,請(qǐng)參見表單配置方式。
支持設(shè)置多個(gè)Grok表達(dá)式匹配日志的多種格式。
優(yōu)化
支持采集秒退容器的標(biāo)準(zhǔn)輸出。
問題修復(fù)
修復(fù)飛天日志格式微秒時(shí)間戳解析問題。
1.1.1
新功能
新增Logtail CSV處理插件。更多信息,請(qǐng)參見表單配置方式。
支持通過eBPF進(jìn)行四層、七層網(wǎng)絡(luò)流量分析,支持HTTP、MySQL、PgSQL、Redis、DNS協(xié)議。
1.1.0
新功能
netping插件支持httping和DNS解析耗時(shí)。
1.0.34
新功能
新增Skywalking Logging API。
優(yōu)化
支持快速釋放已停止的containerd容器文件句柄。
問題修復(fù)
修復(fù)containerd容器的Kubernetes Label無(wú)法匹配問題。
1.0.32
新功能
采集文本日志時(shí),支持通過擴(kuò)展配置("enable_precise_timestamp": true)或processor_strptime插件解析高精度時(shí)間。
優(yōu)化
優(yōu)化Kubernetes場(chǎng)景下rootfs探測(cè)機(jī)制。
優(yōu)化Kubernetes場(chǎng)景下容器運(yùn)行時(shí)的識(shí)別機(jī)制。
問題修復(fù)
修復(fù)netping插件在Windows系統(tǒng)中的異常問題。
1.0.31
新功能
Logtail采集配置支持環(huán)境變量替換。
新增netping插件,用于采集指定的IP地址與目標(biāo)IP地址之間的網(wǎng)絡(luò)ping數(shù)據(jù)。
gotime插件支持將提取的日志時(shí)間轉(zhuǎn)換為timestamp格式。
采集syslog日志時(shí),新增_client_ip_字段,表示傳輸日志的客戶端IP地址。
優(yōu)化
優(yōu)化容器標(biāo)準(zhǔn)輸出流采集內(nèi)存。
1.0.30
新功能
Prometheus插件支持通過多個(gè)Logtail采集配置采集同一臺(tái)機(jī)器上的Prometheus數(shù)據(jù)。
容器服務(wù)Kubernetes的Windows節(jié)點(diǎn)支持add-on token鑒權(quán)。
問題修復(fù)
修復(fù)進(jìn)程采集插件在Linux系統(tǒng)中發(fā)生threadNum與fdNum指標(biāo)錯(cuò)誤問題。
修復(fù)SkyWalking插件出現(xiàn)ConfigurationDiscoveryService not implement錯(cuò)誤問題。
1.0.29
問題修復(fù)
修復(fù)采集容器標(biāo)準(zhǔn)輸出時(shí),通過正則匹配Label失效的問題(該問題發(fā)生在Logtail 1.0.27、Logtail 1.0.28版本中)。
1.0.28
新功能
支持采集SNMP協(xié)議數(shù)據(jù)。
SkyWalking V3版本插件支持過濾instance屬性。
支持配置分隔符模式的是否接受部分字段參數(shù)。
問題修復(fù)
修復(fù)SkyWalking V2版本插件的Span ID不正確問題。
1.0.27
新功能
新增processor_regex插件。
支持多地域配置管控。
優(yōu)化
優(yōu)化主機(jī)指標(biāo)的采集功能,支持采集IO Counter指標(biāo)。
問題修復(fù)
修復(fù)service_http_server插件不釋放UNIX鏈接問題。
修復(fù)Logtail同時(shí)運(yùn)行多份metric_meta_kubernetes插件采集配置時(shí)沖突問題。
1.0.26
新功能
支持采集進(jìn)程指標(biāo)。
采集主機(jī)指標(biāo)時(shí),新增文件句柄以及TCP協(xié)議的采集。
支持采集Kubernetes集群的Meta信息。
支持采集主機(jī)的Meta信息。
新增gRPC輸出插件。
采集容器日志時(shí),支持Kubernetes集群語(yǔ)義識(shí)別。
支持采集SkyWalking V2版本的Trace數(shù)據(jù)。
支持在Windows i386平臺(tái)運(yùn)行input_canal插件。
優(yōu)化
優(yōu)化容器環(huán)境下主機(jī)指標(biāo)采集的準(zhǔn)確性。
1.0.25
問題修復(fù)
修復(fù)導(dǎo)入歷史數(shù)據(jù)時(shí)潛在的崩潰問題。
優(yōu)化
加強(qiáng)在文件系統(tǒng)readdir API返回不精確元數(shù)據(jù)時(shí)的邏輯處理。
1.0.24
問題修復(fù)
修復(fù)Logtail剛啟動(dòng)時(shí)發(fā)送的數(shù)據(jù)未攜帶自定義標(biāo)識(shí)符的問題。
1.0.22
問題修復(fù)
修復(fù)在全球加速模式下的網(wǎng)絡(luò)中斷時(shí),Logtail可能停止上報(bào)狀態(tài)數(shù)據(jù)(非用戶數(shù)據(jù))到日志服務(wù)的問題。
1.0.21
Logtail 1.0.21版本是首個(gè)全地域發(fā)布的Logtail 1.0版本,具備Logtail 0.16.64版本的所有功能,新增以下功能:
新功能
新增配置項(xiàng)exactly_once_concurrency,實(shí)現(xiàn)了Logtail可以在本地磁盤記錄細(xì)粒度的Checkpoint信息(文件級(jí)別)。更多信息,請(qǐng)參見Logtail配置。
新增配置項(xiàng)enable_log_time_auto_adjust,實(shí)現(xiàn)了日志時(shí)間可自適應(yīng)服務(wù)器本地時(shí)間。更多信息,請(qǐng)參見設(shè)置Logtail啟動(dòng)參數(shù)。
新增配置項(xiàng)enable_log_position_meta,用于在日志中添加該日志所屬原始文件的元數(shù)據(jù)信息。更多信息,請(qǐng)參見Logtail配置。
新增配置項(xiàng)specified_year,用于使用當(dāng)前時(shí)間中的年份或指定年份補(bǔ)全日志時(shí)間。更多信息,請(qǐng)參見Logtail配置。
0.16.68
問題修復(fù)
修復(fù)采集容器標(biāo)準(zhǔn)輸出時(shí),未正確處理P(partial)標(biāo)簽導(dǎo)致的解析失敗問題。
修復(fù)在service_skywalking_agent_v3插件跨應(yīng)用情況下,Links中的SpanID和ParentSpanID不正確的問題。
0.16.64
優(yōu)化
上調(diào)請(qǐng)求容器引擎時(shí)的超時(shí)時(shí)間,將3秒調(diào)整為30秒。新增環(huán)境變量DOCKER_CLIENT_REQUEST_TIMEOUT,用于設(shè)置請(qǐng)求容器引擎的超時(shí)時(shí)間。
問題修復(fù)
修復(fù)service_skywalking插件的父Span ID發(fā)生錯(cuò)誤的缺陷。
修復(fù)根據(jù)環(huán)境變量創(chuàng)建的采集配置的邏輯在容器引擎異常時(shí)可能退出的缺陷。
0.16.62
如果您使用的是Logtail 0.16.58、0.16.60版本,建議您升級(jí)到Logtail 0.16.62版本。
問題修復(fù)
修復(fù)在數(shù)據(jù)亂序場(chǎng)景下小概率發(fā)生的數(shù)據(jù)發(fā)送失敗問題。
0.16.60
新功能
支持采集containerd環(huán)境的容器數(shù)據(jù)。
0.16.56
優(yōu)化
調(diào)整服務(wù)日志中net_err_stat指標(biāo)的覆蓋范圍,僅覆蓋網(wǎng)絡(luò)引起的發(fā)送錯(cuò)誤。
0.16.54
新功能
在服務(wù)日志中新增net_err_stat指標(biāo),記錄最近1分鐘、5分鐘、15分鐘內(nèi)發(fā)生的發(fā)送錯(cuò)誤的數(shù)量。
0.16.52
如果和容器(標(biāo)準(zhǔn)輸出、容器文件)相關(guān)的采集配置較多,建議升級(jí)Logtail到0.16.52及以上版本,以有效地降低CPU開銷。
優(yōu)化
優(yōu)化容器數(shù)據(jù)采集場(chǎng)景的CPU開銷。
0.16.50
新功能
支持運(yùn)行時(shí)按需安裝service_telegraf插件(僅限ECS用戶)。
0.16.48
優(yōu)化
優(yōu)化service_telegraf插件,支持單機(jī)多個(gè)配置。
0.16.46
如果您在杭州、上海、北京地域,升級(jí)Logtail至0.16.46及以上版本,可避免Logtail在遇到網(wǎng)絡(luò)抖動(dòng)時(shí)切換Endpoint。
優(yōu)化
嚴(yán)格限制允許Logtail使用的網(wǎng)絡(luò)類型。
0.16.44
新功能
新增service_telegraf插件,支持采集指標(biāo)數(shù)據(jù)。更多信息,請(qǐng)參見接入Telegraf數(shù)據(jù)。
0.16.42
新功能
黑名單過濾支持多級(jí)匹配,例如/path/**/log。
優(yōu)化
優(yōu)化本地IP地址獲取策略。在原先策略失效時(shí),獲取列表中的第一個(gè)IP地址。
0.16.40
新功能
新增主機(jī)狀態(tài)數(shù)據(jù)插件metric_system_v2。更多信息,請(qǐng)參見采集主機(jī)監(jiān)控?cái)?shù)據(jù)。
新增環(huán)境變量ALIYUN_LOGTAIL_MAX_DOCKER_CONFIG_UPDATE_TIMES對(duì)應(yīng)的參數(shù)max_docker_config_update_times,適用于在K8s環(huán)境中頻繁創(chuàng)建Job短時(shí)任務(wù)的場(chǎng)景。
優(yōu)化
優(yōu)化容器采集場(chǎng)景中采集配置較多時(shí)的性能(CPU 開銷)。
問題修復(fù)
修復(fù)processor_split_log_string插件偶爾產(chǎn)生空行的問題。
0.16.38
新功能
完整正則模式支持自定義時(shí)間字段名。
在processor_json、processor_regex、processor_split_char插件中,新增KeepSourceIfParseError參數(shù),支持解析失敗時(shí)保留原始數(shù)據(jù)。更多信息,請(qǐng)參見使用Logtail插件處理數(shù)據(jù)。
0.16.36
新功能
新增加密插件processor_encrypt。
0.16.34
新功能
新增HTTP Probe,支持K8s健康檢查。
問題修復(fù)
修復(fù)某些環(huán)境中,由libcurl導(dǎo)致的core。
修復(fù)在CentOS 8系統(tǒng)中安裝Logtail,缺少libidn庫(kù)的問題。
0.16.32
新功能
在processor_json插件中,新增IgnoreFirstConnector參數(shù)。更多信息,請(qǐng)參見展開JSON字段。
0.16.30
此版本長(zhǎng)時(shí)間運(yùn)行時(shí)有潛在的打開文件失敗風(fēng)險(xiǎn),建議升級(jí)至最新版本。
新功能
在采集Docker標(biāo)準(zhǔn)輸出及文件時(shí),新增K8s級(jí)別的過濾功能。
優(yōu)化
優(yōu)化網(wǎng)絡(luò)條件較差時(shí)同地域Logstore之間的并發(fā)競(jìng)爭(zhēng)。
問題修復(fù)
修復(fù)由于文件打開邏輯錯(cuò)誤小概率發(fā)生的checkpoint丟失問題。
0.16.28
新功能
新增參數(shù),用于配置首次采集的Tail大小。
優(yōu)化
優(yōu)化容器元信息獲取邏輯,降低異常容器對(duì)整體的影響。
問題修復(fù)
修復(fù)docker_stdout在復(fù)雜環(huán)境下的內(nèi)存泄露問題。
修復(fù)JSON模式下對(duì)毫秒時(shí)間戳不完整支持的問題。
0.16.26
新功能
支持采集containerd的日志。
問題修復(fù)
修復(fù)極低概率下發(fā)生的輪轉(zhuǎn)文件丟失checkpoint的問題。
修復(fù)本地采集配置文件/etc/ilogtail/user_config.d在/usr/local/ilogtail/user_log_config.json文件不存在時(shí)未被加載的問題。
0.16.24
新功能
支持通過環(huán)境變量配置working_ip和working_hostname。
新增force_quit_read_timeout參數(shù),支持設(shè)置強(qiáng)制退出的超時(shí)時(shí)間(持續(xù)阻塞無(wú)法讀取事件)。
支持向插件傳遞path、topic等tag。
新增aggregator_shardhash插件,支持在插件內(nèi)設(shè)置shardhash。
新增處理插件processor_gotime、processor_rename、processor_add_fields、processor_json、processor_packjson。更多信息,請(qǐng)參見使用Logtail插件處理數(shù)據(jù)。
更新LogtailInsight,新增進(jìn)度查看功能(需要設(shè)置mark_offset_global_flag或customized_fields.mark_offset)。
優(yōu)化
優(yōu)化Journal長(zhǎng)時(shí)間運(yùn)行內(nèi)存偏高的情況,盡可能及早釋放。
優(yōu)化在本地?zé)o配置的情況下首次獲取配置的時(shí)間間隔。
問題修復(fù)
修復(fù)多個(gè)Logtail配置的情況下可能產(chǎn)生的重復(fù)采集問題。
修復(fù)毫秒、微秒時(shí)間戳不支持JSON int64的問題。
0.16.32
新功能
支持毫秒、微秒時(shí)間戳(%s)。
支持加載多個(gè)本地Logtail配置(/etc/ilogtail/config.d/)。
支持加載多個(gè)本地用戶配置(/etc/ilogtail/user_config.d/)。
新增處理插件processor_split_key_value、processor_strptime。更多信息,請(qǐng)參見表單配置方式、提取日志時(shí)間。
新增oas_connect_timeout、oas_request_timeout參數(shù),支持網(wǎng)絡(luò)慢的場(chǎng)景。
新增安裝腳本支持通過金融云公網(wǎng)安裝Logtail。更多信息,請(qǐng)參見安裝Logtail(Linux系統(tǒng))。
優(yōu)化
取消混合配置(file+plugin)中對(duì)inputs的限制。
0.16.21
新功能
支持自定義靜態(tài)主題設(shè)置。
支持黑名單過濾。
在service_canal插件中新增EnableEventMeta參數(shù),支持采集MySQL Binlog對(duì)應(yīng)的header信息。
優(yōu)化
優(yōu)化插件系統(tǒng)停止機(jī)制。
問題修復(fù)
修復(fù)GBK日志潛在的內(nèi)存泄漏。
0.16.18
新功能
支持采集Docker事件。更多信息,請(qǐng)參見采集Docker事件。
支持采集Systemd Journal日志。更多信息,請(qǐng)參見采集Systemd Journal日志。
新增處理插件processor_pick_key 、processor_drop_last_key。
優(yōu)化
優(yōu)化容器日志以及插件采集內(nèi)存占用。
優(yōu)化采集容器標(biāo)準(zhǔn)輸出(stdout)多行日志的性能。
0.16.16
新功能
支持自動(dòng)創(chuàng)建K8s審計(jì)日志相關(guān)的資源。
支持通過環(huán)境變量配置啟動(dòng)參數(shù),例如CPU、內(nèi)存、發(fā)送并發(fā)等。
支持通過環(huán)境變量配置自定義tag上傳。
sidecar模式支持自動(dòng)創(chuàng)建配置。更多信息,請(qǐng)參見通過Sidecar-CRD方式采集容器文本日志。
優(yōu)化
自動(dòng)保存aliuid文件到本地文件。
問題修復(fù)
修復(fù)采集容器文件出現(xiàn)極低概率的crash的問題。
修復(fù)通過環(huán)境變量創(chuàng)建出的配置在K8s中存在的
IncludeLabel
不生效問題。
0.16.15
新功能
采集MySQL Binlog時(shí),支持GTID模式。在采集MySQL Binlog時(shí)自動(dòng)開啟該模式。
歷史數(shù)據(jù)導(dǎo)入文件名支持指定通配符。
K8s支持自動(dòng)創(chuàng)建索引配置。
優(yōu)化
當(dāng)分行失敗時(shí),支持檢查
discardUnMatch
并上報(bào)分行失敗的日志。遇到unknown send error時(shí)自動(dòng)重試,防止極低情況下數(shù)據(jù)丟失(例如發(fā)送的數(shù)據(jù)包中途被篡改)。
0.16.14
新功能
導(dǎo)入歷史數(shù)據(jù)支持通配符模式。
增加啟動(dòng)配置項(xiàng)
default_tail_limit_kb
,用于配置首次采集文件跳轉(zhuǎn)大小(默認(rèn)1024KB)。增加采集配置項(xiàng)
batch_send_seconds
,用于配置數(shù)據(jù)包發(fā)送的時(shí)間。增加采集配置項(xiàng)
batch_send_bytes
,用于配置數(shù)據(jù)包的大小。
優(yōu)化
采集容器標(biāo)準(zhǔn)輸出(stdout)時(shí),支持自動(dòng)合并被Docker Engine拆分的日志。
0.16.13
新功能
支持通過環(huán)境變量配置日志采集。
支持采集MySQL Binlog中的meta數(shù)據(jù),即新增日志字段
_filename_
和_offset_
。安裝腳本支持VPC下自動(dòng)選擇參數(shù)。
支持全球加速安裝模式。更多信息,請(qǐng)參見步驟二:配置Logtail采集加速。
0.16.11
優(yōu)化
采集MySQL Binlog時(shí),支持采集filename和offset信息。
問題修復(fù)
修復(fù)使用多行模式采集容器標(biāo)準(zhǔn)輸出(stdout)時(shí)有一定概率出現(xiàn)異常的問題。
0.16.10
優(yōu)化
升級(jí)容器標(biāo)準(zhǔn)輸出(stdout)采集方式。
0.16.9
問題修復(fù)
修復(fù)極低概率下出現(xiàn)的socket fd泄露問題。
增加容器文件采集配置更新頻率限制。
0.16.8
新功能
新增Logtail Lumberjack插件,用于采集Logstash、Beats數(shù)據(jù)源。更多信息,請(qǐng)參見采集Beats和Logstash數(shù)據(jù)源。
增加inotify黑名單功能。
問題修復(fù)
修復(fù)舊安裝包參數(shù)不統(tǒng)一的問題。
修復(fù)在部分系統(tǒng)下安裝Logtail時(shí)無(wú)法正確獲取OS版本的問題。
0.16.6
新功能
支持采集主機(jī)監(jiān)控?cái)?shù)據(jù)。
支持采集Redis監(jiān)控?cái)?shù)據(jù)。
支持采集MySQL Binlog中的DDL(data definition language)。
支持采集容器標(biāo)準(zhǔn)輸出(stdout)和容器文件時(shí),通過docker ENV(environment)過濾。
問題修復(fù)
兼容MySQL table無(wú)主鍵情況下的數(shù)據(jù)采集。
兼容容器采集模式下因容器引擎訂閱通道不穩(wěn)定造成事件丟失的問題。
0.16.5
新功能
采集容器標(biāo)準(zhǔn)輸出(stdout)時(shí),新增多行采集模式。更多信息,請(qǐng)參見多行日志的Logtail配置示例。
0.16.4
新功能
支持Docker&Kubernetes部署方案。
支持采集容器標(biāo)準(zhǔn)輸出(stdout)和容器文件。更多信息,請(qǐng)參見通過DaemonSet-控制臺(tái)方式采集容器標(biāo)準(zhǔn)輸出、通過DaemonSet-控制臺(tái)方式采集容器文本日志。
0.16.2
新功能
新增processor_geoip插件。更多信息,請(qǐng)參見轉(zhuǎn)換IP地址。
0.16.0
新功能
支持采集MySQL Binlog、MySQL查詢結(jié)果、HTTP數(shù)據(jù)。更多信息,請(qǐng)參見使用Logtail插件采集數(shù)據(jù)。
支持組合解析配置:正則模式、標(biāo)定模式、分隔符模式、過濾器。