本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
日志服務推出CloudLens for SLS應用,幫助您監控和管理日志服務Project、Logstore等資產,以提升您對日志服務資產的管理效率、快速了解其消耗情況。
產品試用
SLS Playground中的CloudLens for SLS Demo,內置了演示數據、可視化圖表等資源,提供完整的演示環境,便于您快速了解及體驗功能。
您可以單擊CloudLens for SLS,進行試用。
SLS Playground中的數據為演示數據,請勿用于生產環境。
功能說明
CloudLens for SLS支持如下功能。
支持集中管理當前阿里云賬號下符合條件的Project和Logstore。條件說明,請參見使用限制。
支持一鍵開啟實例日志(重要日志、詳細日志、任務運行日志)和全局日志(審計日志、計費日志、錯誤日志、監控指標)的采集功能,集中管理日志的采集狀態。
說明實例日志(重要日志、詳細日志、任務運行日志)和全局日志(審計日志、錯誤日志、監控指標)僅支持查看開通日志采集后數據。
重要日志:包括Logstore粒度的消費組消費延時日志、Logtail相關的錯誤、心跳和統計日志,存儲在指定Project下名為internal-diagnostic_log的Logstore中。
詳細日志:包括Project內所有資產的創建、修改、更新、刪除操作日志和數據讀寫日志,存儲在指定Project下名為internal-operation_log的Logstore中。
任務運行日志:記錄數據導入(新版)、定時SQL、投遞(新版)等任務的出錯與延遲信息,存儲在指定Project下名為internal-diagnostic_log的Logstore中。
審計日志:記錄當前阿里云賬號內所有Project內資源的創建、修改、更新、刪除等操作日志,存儲在指定Project下名為internal-audit_log的Logstore中。
計費日志:通過成本管家記錄日志服務計費資源數據,存儲在表格存儲(OTS)中,每日自動全量更新。數據詳情,請參見賬單數據說明。
說明初次開通時,數據導入大概需要1~2小時,具體導入時間受賬單數據量影響。
僅公共云用戶支持開通計費日志。
開通后,不支持關閉。
錯誤日志:記錄當前阿里云賬號內所有Project內資源的創建、修改、更新、刪除以及數據讀寫的錯誤日志,存儲在指定Project下名為internal-error_log的Logstore中。
監控指標:記錄Project粒度、Logstore粒度的流量、請求、延遲等指標數據,存儲在指定Project下名為internal-monitor-metric的MetricStore中。
更多信息,請參見服務日志。
CloudLens for SLS預設了基線告警、同環比告警等相關的告警監控規則,用于監控Project、Logtail、消費組等資源的使用,并支持短信、釘釘、郵件、語音、自定義Webhook等通知方式。更多信息,請參見設置告警。
提供豐富的可視化報表,包括全局概覽、訪問監控、采集監控、操作監控、作業監控、額度監控、SQL質量監控和計費資源監控這七大類報表。更多信息,請參見查看數據報表。
支持查看當前阿里云下符合條件的Project和Logstore的Quota信息。條件說明,請參見使用限制。
適用場景
開發運維
開發人員可通過CloudLens for SLS監控和管理日志服務Project、Logstore等資產,提升對日志服務資產的管理效率;通過對CloudLens for SLS所采集的Project實例詳細日志、重要日志和任務監控日志進行查詢與分析,提高了問題定位的效率。
IT運維
IT運維人員可通過CloudLens for SLS的告警功能及時感知和響應Project服務狀態、流量、Quota以及Logtail多維度指標的異常。
安全審計
CloudLens for SLS的審計日志可以記錄用戶對Project內資源的創建、更新和刪除操作,便于安全審計人員對特定時間內的操作進行安全分析與審計。
資產詳情
Project、Logstore、MetricStore
開啟重要日志、任務運行日志采集時,您可以自定義選擇一個Project。開啟后,日志服務將在該Project下生成一個名為internal-diagnostic_log的Logstore。
開啟詳細日志采集時,您可以自定義選擇一個Project。開啟后,日志服務將在該Project下生成一個名為internal-operation_log的Logstore。
開啟審計日志采集時,您可以自定義選擇一個Project。開啟后,日志服務將在該Project下生成一個名為internal-audit_log的Logstore。
開啟錯誤日志采集時,您可以自定義選擇一個Project。開啟后,日志服務將在該Project下生成一個名為internal-error_log的Logstore。
開啟監控指標采集時,您可以自定義選擇一個Project。開啟后,日志服務將在該Project下生成一個名為internal-monitor-metric的MetricStore。
儀表盤
儀表盤
說明
全局概覽
全局概覽
展示日志服務Project相關信息,包括讀寫請求次數、讀寫請求成功率、4xx請求次數、5xx請求次數、寫入流量(原始大小)、寫入流量(壓縮后)、寫入流量壓縮比、讀取流量等圖表。
訪問監控
訪問流量監控
展示日志服務的訪問情況,包括今日請求總數、客戶端個數、今日用戶數、SourceIP讀取網絡流量Top 10、SourceIP寫入流量Top 10、請求數、寫入流量、Shard寫入流量變化趨勢、Shard消費流量趨勢、每分鐘讀寫網絡流量變化、訪問來源分布等圖表。
訪問異常監控
展示日志服務的異常訪問情況,包括今日請求總數、失敗請求占比、限流錯誤、請求異常狀態分布、超過寫入限制Logstore、請求異常數、請求處理耗時趨勢等圖表。
消費組監控
展示消費組相關信息,包括消費組個數、消費Logstore個數、消費Shard個數、消費組延遲數、消費組數據占比、消費組列表、消費組延時Top 10、消費落后時長等圖表。
采集監控
Logtail整體狀態
展示Logtail相關信息,包括活躍Logtail數、原始數據流量、運行狀態分布、內存占用分布、Logtail整體狀態、CPU趨勢、內存趨勢、數據發送流量等圖表。
Logtail文件采集監控
展示待采集文件的相關信息,包括采集文件數、采集機器數、采集文件分布、采集日志量、平均采集延遲、解析失敗率、發送次數趨勢等圖表。
Logtail異常監控
展示Logtail的異常情況,包括活躍Logtail數、Logtail重啟列表、重啟客戶端數、全量錯誤信息等圖表。
操作監控
操作監控
展示日志服務操作記錄,包括日志庫操作總數、日志庫操作失敗占比、操作客戶端個數等圖表。
作業監控
數據處理監控
展示數據導入任務(新版)、投遞任務(新版)或定時SQL任務運行情況,包括讀成功條數、讀失敗條數、寫成功條數、寫失敗條數、讀公網流量、寫公網流量、處理速率、進度落后、運行異常、運行狀態等圖表。
額度監控
額度監控
展示資產額度超限情況,包括資源配額80%水位預警概覽、額度超限分布、LogStore水位占比分布、機器組水位占比分布、Logtail采集配置水位占比分布、Project寫入流量水位占比分布、Project基礎資源配額詳情、Project數據讀寫資源配額詳情、Project資源超限詳情等圖表。
SQL質量監控
SQL質量監控
展示SQL質量情況,包括SQL 健康分、SQL服務指標、SQL運行明細指標、SQL Pattern等圖表。
計費資源監控
計費資源監控
展示日志服務計費資源信息,包括存儲空間-日志熱存儲、索引流量-日志索引、讀寫流量、計費項用量趨勢、Top Project用量明細、Top Logstore用量明細等。
費用說明
CloudLens for SLS應用服務免費,提供的各類日志費用具體說明如下:
重要日志、任務運行日志和審計日志的接入、存儲與查詢分析免費。當您進行數據加工、數據投遞等操作時,按量計費。
詳細日志的計費方式與普通Logstore一致。
計費日志不會產生額外費用,其涉及的Project、表格存儲實例均為免費實例。
更多信息,請參見按使用功能計費模式計費項。
使用限制
目前,CloudLens for SLS只監控和管理如下區域的資產。
云類型 | 地域 |
公共云 | 華東1(杭州)、華北1(青島)、華北2(北京)、華北3(張家口)、華北5(呼和浩特)、華北6(烏蘭察布)、華東2(上海)、西南1(成都)、華南1(深圳)、華南2(河源)、華南3(廣州)、中國(香港)、印度尼西亞(雅加達)、馬來西亞(吉隆坡)、菲律賓(馬尼拉)、新加坡、韓國(首爾)、泰國(曼谷)、日本(東京)、英國(倫敦)、德國(法蘭克福)、阿聯酋(迪拜)、美國(硅谷)、美國(弗吉尼亞) |
金融云 | 華東1(杭州金融云)、華東2(上海金融云)、華北2(北京金融云)、華南1(深圳金融云) |
注意事項
CloudLens功能要求云賬號下必須存在至少一個Project。
在用戶開通和使用CloudLens功能時,日志服務會檢測賬號下是否存在Project,具體邏輯如下。
檢測邏輯
用戶第一次開通CloudLens功能,日志服務會自動檢測您當前的阿里云賬號下是否存在任意Project,如果沒有Project,則會在華南2(河源)地域創建一個名稱為
aliyun-product-data-阿里云賬號ID-cn-heyuan
的Project。用戶開通CloudLens功能后進入CloudLens,日志服務只會自動檢測您當前的阿里云賬號下是否存在任意Project,不會在華南2(河源)地域創建Project,用戶可以手動創建任意Project,創建Project的步驟請參見管理Project。
刪除Project
如果您要刪除
aliyun-product-data-阿里云賬號ID-cn-heyuan
這個Project,可以打開云命令行,執行以下命令進行刪除,請根據實際情況替換阿里云賬號ID。aliyunlog log delete_project --project_name=aliyun-product-data-阿里云賬號ID-cn-heyuan --region-endpoint=cn-heyuan.log.aliyuncs.com
刪除其他Project和Logstore的步驟,請參見管理Logstore和管理Project。