實時計算Flink版支持在作業日志界面、對象存儲OSS或者日志服務SLS上查看歷史作業實例的日志。本文為您介紹如何在作業日志界面、OSS或SLS上查看歷史作業實例日志。
背景信息
如果出現以下情況,則您需要查看歷史作業實例的日志:
您需要查看、搜索和分析歷史作業實例的運行日志(系統默認保留最近5 MB大小的運行日志)。
Flink UI無法打開,需要查看Job Manager日志定位問題。
前提條件
在作業日志頁簽查看歷史作業實例日志,需要您在日志配置中已打開日志歸檔功能。默認已開啟日志歸檔功能,歸檔日志有效期7天。
在OSS或者SLS上查看歷史實例的日志,需要您在實時計算Flink版上已配置了歷史作業實例的日志輸出到OSS或者SLS,詳情請參見配置作業日志輸出。
注意事項
當日志文件達到指定的大小時,系統將自動對日志進行歸檔,并定期清理超過歸檔有效期的日志文件,作業停止后未清理的歸檔日志會被保存下來,不會自動清理。若作業被刪除,則相應的日志也將隨之刪除。
說明2024年11月發布新版本后,實時計算管理控制臺所有存量作業日志(包括作業停止后未清理的歸檔日志)只要超過了歸檔日志有效期都會被清理。
如果Task Manager和Job Manager任意一個啟動,日志都會寫到SLS或OSS。但Task Manager和Job Manager都沒有正常啟動時,日志不會被寫到SLS或OSS。
如果因為Job Manager和Task Manager都沒有正常啟動,導致您在OSS上沒有找到對應的日志文件,請聯系我們。
日志配置中默認會保留2個文件,每個文件大小為5 MB,不建議您修改該值。如果該日志保存大小不滿足您的需求,則請將日志輸出至OSS中。
說明圖片上的文件個數不包括正在寫的文件,即如果這里配置為1,則最多會保存2個文件,一個保存在內存中,一個保存在您的本地磁盤中。
在作業日志界面查看
登錄實時計算管理控制臺。
單擊目標工作空間操作列下的控制臺。
在左側導航欄上,選擇 。
單擊目標作業名稱。
單擊作業日志。
在左側運行日志頁簽,單擊作業右側的下拉框,選擇歷史運行作業。
查看Job Manager和Task Managers日志。
在Job Manager或Task Managers頁簽,分別單擊對應的日志名稱,進行查看。
在OSS上查看
登錄OSS管理控制臺。
在左側導航欄,單擊Bucket列表。
單擊您開通Flink工作空間時,配置的Bucket名稱。
在文件管理中,查看對應目錄日志信息。
文件夾
說明
artifacts
上傳的JAR包會被存儲到該目錄。
flink-jobs
Flink作業的Checkpoint會被存儲到該目錄。
flink-savepoints
在實時計算開發控制臺的 上,單擊作業的創建快照,會觸發Savepoint操作,最終的Savepoint文件會被存儲到該目錄。
logs
如果您作業的日志模板選擇了OSS,則您的作業的日志會被存儲到該目錄。
說明logs目錄下作業存儲路徑為:logs/${工作空間ID}/${作業ID}/${實例ID}。您可以通過該目錄結構找到相應作業的JM(Job Manager)和TM(Task Manager)日志。