自定義監控提供數據統計的監控產品類型,您可以配置個性化的監控項。本文介紹監控產品的類型及部分應用示例。
監控類型
監控產品的類型以統計指標為依據進行劃分,主要分為常用、高級類型。具體可參考下表。
名稱 | 類別 | 應用場景 | 備注 |
分鐘統計/無 Key | 常用 | 統計單業務量每分鐘的數據。 通過篩選日志固定位置的關鍵字,統計單個指標分鐘級的數據,如統計某個接口在一分鐘內被調用的總量等。 | 支持日志關鍵字篩選 |
分鐘統計/多 Key | 常用 | 統計 N 個維度的 N 個 Key 業務量每分鐘的數據,如統計系統各個接口分別被調用的總量。 通過配置日志的 Group By 維度,統計各維度各 Key 數據,等同于 SQL 中 Group By 的功能。 | 支持日志關鍵字篩選 |
大盤 | 常用 | 將監控項通過靈活的配置,以報表及走勢圖形式展現。 | 只做報表展現,不支持告警配置。所有告警設定在配置監控項時完成。 |
常用服務指標 | 常用 | 統計單業務或 N 個維度的 N 個 Key 業務的總量、成功量、失敗量、成功率、平均耗時 5 個統計項。 | 支持日志關鍵字篩選 |
秒級統計/無 Key | 常用 | 統計單業務量每秒的數據,如統計系統某個接口每秒被調用的總量。 通過對日志固定位置的關鍵字篩選,統計單個指標的每秒數據。 秒級統計可以更及時的查看數據及排查問題,但所需要的存儲空間也更大,秒級統計/無 Key 一天需要存 86400 個數值(24 小時/天 * 60 分/小時 * 60 秒/分 = 86400 秒/天),所以請有選擇地使用。 | 按秒級統計數據,支持日志關鍵字篩選,不支持告警配置 |
秒級統計/多 Key | 常用 | 統計 N 個維度的 N 個 Key 業務量每秒的數據,如統計系統各個接口分別被調用的總量。 通過配置日志的 Group By 維度,統計各維度各 Key 數據,等同于 SQL 中 Group By 的功能。 秒級統計可以更及時的查看數據及排查問題,但所需要的存儲空間也更大,秒級統計/多 Key 一天需要存 86400 * N 個數值(24 小時/天 * 60 分鐘/小時 * 60 秒/分 = 86400 秒/天,N 代表 Key 的數量),所以請有選擇地使用。 | 按秒級統計數據,支持日志關鍵字篩選,不支持告警配置。 |
分鐘統計 Top | 常用 | 統計維度的多個 Key 的每分鐘的數據,并對數值排序,展現前 N 個最高數值的 Key,如統計平均耗時前 10 的錯誤碼。 通過計算多維度數值在每分鐘內的大小,再將數值進行排序,展現前 N 個 Key 及其數值。 | - |
單筆數據 Top | 常用 | 對單條日志的數值維度進行排序,查看最高 N 個單筆業務,如統計耗時前 10 的單筆訂單。 | - |
匹配查找告警 | 高級 | 統計日志中固定位置的關鍵字出現次數,達到一定量后進行告警。 例如:日志中,打印日期后出現 |
|
歸檔統計 | 高級 | 對一個秒級數據源,按小時、天、周、月統計數值。 | 只做統計,不做告警使用。 |
應用示例
示例一
假設存在下述日志:
2012-11-1111:11:11粵A123XX,廣州北收費站,G25,廣州,¥50
2012-11-1111:11:12粵A123XX,廣州北收費站,G26,廣州,¥50
2012-11-1111:11:13粵A123XX,廣州北收費站,G27,廣州,¥50
2012-11-1111:11:14粵A123XX,廣州北收費站,G27,廣州,¥50
2012-11-1111:11:15粵A123XX,廣州北收費站,G26,廣州,¥50
……
分鐘統計/無 Key :要從上面這批日志里了解在 2012-11-11 11:11 這一分鐘,廣州北收費站共計通過多少車輛,使用分鐘統計/無 Key,通過“廣州北收費站”關鍵字篩選,統計日志行數,就可以可統計出廣州北收費站的分鐘級數據。
分鐘統計/多 Key :要從上面這批日志里了解在 2012-11-11 11:11 這一分鐘,每個收費站各通行了多少輛車,使用分鐘統計/多 Key 對收費站這個維度進行 Group By 統計,就可以統計出每個收費站的分鐘級數據。
分鐘統計 Top :在統計收費站車輛通行數量的場景里,全中國有幾十萬個收費站,我們并不需要每個收費站、每分鐘的歷史數據(因為絕大部分時間里大部分的收費站都是空閑的,數據都是 0,全部統計記錄會浪費很多成本)。假設某交警部門想要在節假日期間分析出當前流量最大的收費站,以便做出交通警力調配。這種場景可以使用分鐘統計 Top 監控功能,在上例里只需要萬分之一的成本,就能實現此需求。
匹配查找告警:要從上面這批日志里排查車牌為“粵 A12345”這輛車的去向,只要它出現在任何一個收費站就報警。使用匹配查找告警,通過車牌“粵 A12345”關鍵字篩選,就能對這輛車進行監控。
示例二
假設存在下述日志:
2012-11-1111:11:11粵 A123XX,廣州北收費站,G25,廣州,¥50,2340ms,Y
2012-11-1111:11:12粵 A123XX,廣州北收費站,G26,廣州,¥50,3209ms,Y
2012-11-1111:11:13粵 A123XX,廣州北收費站,G27,廣州,¥50,4200ms,Y
2012-11-1111:11:14粵 A123XX,廣州北收費站,G27,廣州,¥50,5700ms,Y
2012-11-1111:11:15粵 A123XX,廣州北收費站,G26,廣州,¥50,8500ms,Y
……
常用服務指標:要從日志中統計每分鐘每個收費站收費多少車輛、成功收費多少車輛、多少車輛收費失敗、平均收費時長多少,使用常用服務指標對收費站這個維度進行 Group By,將收費時長維度配成耗時,再配置結果維度,即可統計出每個收費站收費 總量、成功量、失敗量、成功率、收費時長 等的分鐘數據。
示例三
假設存在下述日志:
2012-11-1111:11:11粵A123XX,廣州北收費站,G25,廣州,¥50,收費員-張三
2012-11-1111:11:12粵A123XX,廣州北收費站,G26,廣州,¥50,收費員-李四
2012-11-1111:11:13粵A123XX,廣州北收費站,G27,廣州,¥50,收費員-王五
2012-11-1111:11:14粵A123XX,廣州北收費站,G27,廣州,¥50,收費員-李四
2012-11-1111:11:15粵A123XX,廣州北收費站,G26,廣州,¥50,收費員-張三
……
單筆數據 Top :假設某交警部門正在調查亂收費現象,想知道每分鐘里收費最高的前 100 筆記錄。在這前 100 筆記錄中,收費金額超過 ¥500 就要介入調查。在這種場景下,不要使用 Group By 對收費員維度進行統計,因為這樣會產生幾十萬、幾百萬的無效數據長期占用資源。使用單筆數據 Top 不僅能用極低的成本找到前 100 筆記錄,而且能查詢到每一筆記錄的詳情。