創建數據加工任務后,日志服務默認為每個加工任務創建一個儀表盤,您可以在儀表盤中查看數據加工任務運行指標。本文介紹加工任務運行指標詳情及如何查看數據加工儀表盤。
查看儀表盤
創建加工任務后,您可以在數據加工概覽頁面查看該任務的儀表盤。
登錄日志服務控制臺。
在Project列表區域,單擊目標Project。
在左側導航欄中,選擇
。單擊目標數據加工任務,在執行狀態區域,查看儀表盤信息。
總覽指標
總覽指標信息如下所示。
讀日志數總計:從源Logstore的各個shard中讀取到的日志條數總計。
投遞日志數總計:從源Logstore的各個shard中讀取日志并成功寫入到目標Logstore的日志條數總計。
失敗日志數總計:從源Logstore的各個shard中讀取日志并在加工過程中發生失敗的日志條數總計。
投遞日志數占比:成功投遞到目標Logstore的日志條數占源Logstore讀取到日志條數的比例。
加工速率
加工速率用于統計每分鐘窗口內,數據加工處理的日志條數。
accept:從源Logstore的各個shard中讀到的日志條數。
dropped:從源Logstore的各個shard中讀到并按規則腳本預期丟棄的日志條數。
delivered:從源Logstore的各個shard中讀到并成功寫入到目標Logstore的日志條數。
failed:從源Logstore的各個shard中讀取到日志并在加工過程中發生失敗的日志條數。
shard消費延遲、shard消費速率
統計每分鐘窗口內,加工任務讀取源Logstore數據時,每個shard的指標。
消費延遲:該shard中的日志被完全消費的時間與該shard最新日志產生的時間之差。兩個時間,都是按shard數據到達服務端時間(server receive time)開始計算的。
消費速率:shard在一分鐘窗口內平均每秒鐘讀取到的日志條數。
處理實時日志時消費延遲一般是1s左右。如果處理的是歷史日志數據,在任務開始的階段消費延遲可能會很高,隨著數據加工的進行,消費進度不斷追趕最終達到低延遲水平。
活躍shard
展示最近一段時間內發生,shard每秒處理的日志行數(accept、dropped、delivered、failed)。
異常詳情
您可以根據reason字段,查看可能導致出錯的規則腳本。
您也可以在當前Project下的internal-etl-log日志庫中,通過關鍵詞ERROR或WARNING查看完整的錯誤日志。