阿里云開源大數據平臺E-Mapreduce(EMR)聯合日志服務推出日志功能,用于將EMR日志投遞到日志服務進行查詢分析。本文介紹EMR日志相關的資產、費用、使用限制以及如何在EMR控制臺中開啟日志投遞功能,將EMR日志投遞到日志服務中。
資產詳情
自定義的Project和專屬Logstore
您可以自定義一個Project,系統將在該Project下生成名為
emr_EMR服務名稱_log
的專屬Logstore。例如您要投遞host服務的日志,則對應的Logstore為emr_host_log
。重要在停用日志功能前,請勿刪除EMR日志相關的日志服務Project和Logstore,否則將導致已存儲的日志被清除,且新日志無法被投遞到日志服務。
若您曾開通過按寫入數據量計費模式,則系統默認創建計費模式為按寫入數據量計費的專屬Logstore。若您需要切換至按使用功能計費模式,可修改Logstore配置。具體操作,請參見修改Logstore配置。
專屬儀表盤
無專屬儀表盤,您可以自定義儀表盤用于查詢結果展示。具體操作,請參見創建儀表盤。
費用說明
目前,EMR不針對管理日志功能收取費用。
當Logstore的計費模式為按使用功能計費時,推送EMR日志到日志服務后,日志服務根據存儲空間、讀取流量、請求數量、數據加工、數據投遞等進行收費。更多信息,請參見按使用功能計費模式計費項。
當Logstore的計費模式為按寫入數據量計費時,推送EMR日志到日志服務后,日志服務將根據原始寫入數據量等進行收費。更多信息,請參見按寫入數據量計費模式計費項。
使用限制
日志管理功能僅適用于新版數據湖(DataLake)、實時數據流(DataFlow)、數據分析(OLAP)、數據服務(DataServing)和數據湖(Hadoop)場景的集群。
支持日志投遞的服務包括hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss和host(主機)。
開啟日志投遞
注意事項
進入日志管理頁面。
在頂部菜單欄處,根據實際情況選擇地域和資源組。
在EMR on ECS頁面,單擊目標集群的集群ID。
單擊上方的日志管理頁簽。
配置日志投遞范圍。
在日志管理頁面,單擊右側的設置日志投遞范圍。
在彈出的對話框中,配置日志存儲的Project。
您可以選擇已有Project或者新建Project。
重要Project一經選擇不可變更。
勾選需要日志投遞的服務,單擊確定。
查看服務日志。
在請選擇EMR服務下拉框中選擇您需要查看日志的服務。
在日志界面對日志進行分析。
您可以指定時間段和查詢語句進行實時查詢。例如,可快速分析某一個字段在一段時間內的分布情況,您也可以按條件過濾或統計您希望查看的訪問記錄。
關閉日志投遞
關閉實時日志投遞不會自動刪除Project。因此,當您關閉日志投遞后,為避免后續產生不必要的費用,請前往日志服務控制臺刪除開通日志投遞時選擇的Project。具體操作,請參見管理Project。
當您確認不再需要保留日志數據時,可以按照如下步驟關閉實時日志查詢。
在日志管理頁面,單擊右側的關閉日志投遞。
在彈出的對話框中,單擊OK。
相關操作
操作 | 說明 |
設置日志投遞范圍 | 在日志管理頁簽下,單擊設置日志投遞范圍,修改待投遞日志的服務。 |
關閉日志投遞 | 在日志管理頁簽下,單擊關閉日志投遞。 重要 關閉日志投遞后,系統不會自動刪除Project及已推送的日志。因此,當您關閉日志投遞后,為避免后續產生不必要的費用,請在日志服務控制臺上刪除對應的Project。具體操作,請參見刪除Project。 |
后續步驟
將EMR日志投遞到日志服務后,您可以在日志服務中執行查詢分析、下載、投遞、加工、告警等操作。具體操作,請參見云產品日志通用操作。