E-Mapreduce(簡稱EMR)開源組件運行過程中會產生大量的日志。日志管理功能將EMR與日志服務SLS相結合,允許您在EMR控制臺直接查詢開源組件的日志。
前提條件
使用限制
本文操作僅適用于數據湖(DataLake)、實時數據流(DataFlow)、數據分析(OLAP)、數據服務(DataServing)和數據湖(Hadoop)場景的集群。
支持日志投遞的服務有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host(主機)。
注意事項
查詢實時日志
進入日志管理頁面。
在頂部菜單欄處,根據實際情況選擇地域和資源組。
在EMR on ECS頁面,單擊目標集群的集群ID。
單擊上方的日志管理頁簽。
配置日志投遞范圍。
在日志管理頁面,單擊右側的設置日志投遞范圍。
在彈出的對話框中,配置日志存儲的Project。
您可以選擇已有Project或者新建Project。
重要Project一經選擇不可變更。
勾選需要日志投遞的服務,單擊確定。
查看服務日志。
在請選擇EMR服務下拉框中選擇您需要查看日志的服務。
在日志界面對日志進行分析。
您可以指定時間段和查詢語句進行實時查詢。例如,可快速分析某一個字段在一段時間內的分布情況,您也可以按條件過濾或統計您希望查看的訪問記錄。
關閉日志投遞
關閉實時日志投遞不會自動刪除Project。因此,當您關閉日志投遞后,為避免后續產生不必要的費用,請前往日志服務控制臺刪除開通日志投遞時選擇的Project。具體操作,請參見管理Project。
當您確認不再需要保留日志數據時,可以按照如下步驟關閉實時日志查詢。
在日志管理頁面,單擊右側的關閉日志投遞。
在彈出的對話框中,單擊OK。
管理SLS Project
您可以在日志管理頁面,單擊右側的前往日志服務控制臺,可以進入日志服務控制臺。在SLS控制臺您可以設置日志保存時間,并修改Logstore相關配置。
常見問題
Q:已開通SLS服務,并授權相關角色,為什么控制臺還是提示“該資源暫未開啟服務日志采集,請到EMR控制臺對應集群的日志管理頁面開啟服務日志采集”?
A:當前集群并未設置投遞日志的服務,請單擊右側的設置日志投遞范圍,完成日志投遞范圍的配置。