ARMS告警管理(ITSM)
ARMS告警管理(ITSM)是一款開箱即用的智能告警服務,接收Prometheus等各類客戶端發(fā)送的告警信息,通過自動去重、分組、算法降噪處理,按標簽內(nèi)容將告警發(fā)送至不同的通知對象,從而幫助運維團隊降低項目風險。本文介紹如何在可觀測可視化 Grafana 版中啟用ARMS告警管理(ITSM)。
Grafana版本要求
9.0.x及以上版本的Grafana支持使用ARMS告警。升級Grafana版本的操作,請參見查看工作區(qū)信息。
步驟一:啟用ARMS告警
9.0.x及以上版本的Grafana已默認啟用ARMS告警。如果您之前在告警管理頁面,關閉了集成的ARMS告警,需要執(zhí)行該步驟重新啟用ARMS告警。
登錄可觀測可視化 Grafana 版控制臺,在左側(cè)導航欄單擊工作區(qū)管理。
在工作區(qū)管理頁面,單擊目標工作區(qū)ID。
在左側(cè)導航欄,單擊告警管理,然后在頁面左上角單擊開啟ARMS告警開關。
在彈出的對話框中單擊確認。
在告警管理右上角單擊管理告警,進入Grafana的ITSM頁面。
步驟二:創(chuàng)建告警規(guī)則
Grafana 9.0.x版本
在Grafana左側(cè)導航欄,選擇 > Browse。
在Browse頁簽,選擇需要創(chuàng)建告警的監(jiān)控大盤。
在大盤頁面選擇需要創(chuàng)建告警的面板,單擊面板名稱,然后單擊Edit。
在Edit Panel頁面,單擊Alert頁簽,然后單擊Create alert rule from this panel。
說明您也可以在Grafana左側(cè)導航欄選擇,在告警概覽頁面,單擊創(chuàng)建告警規(guī)則進行告警規(guī)則的創(chuàng)建。
根據(jù)需求設置告警參數(shù)。具體操作,請參見Grafana官方文檔。
您需要在Notifications區(qū)域輸入自定義Labels的key和value,例如
grafana_alertname=Pod磁盤使用率_hangzhou
。在步驟四:創(chuàng)建通知策略時可以通過此處設置的標簽匹配到當前告警規(guī)則。告警規(guī)則創(chuàng)建完成后,單擊右上角的Save。
當Grafana告警被觸發(fā)時,告警事件會上報至ARMS告警管理的告警事件歷史頁面。更多信息,請參見查看告警事件歷史。
說明在告警事件歷史頁面,您可以設置集成名稱為ARMS_GRAFANA篩選由Grafana告警規(guī)則上報的事件。
Grafana 10.0.x版本
在Grafana左上角,單擊,然后選擇儀表板。
在儀表板頁面,選擇需要創(chuàng)建告警的監(jiān)控大盤。
在大盤頁面選擇需要創(chuàng)建告警的面板,單擊面板右上角圖標,然后單擊編輯。
在Edit Panel頁面,單擊Alert頁簽,然后單擊Create alert rule from this panel。
說明您也可以在Grafana左側(cè)導航欄單擊,選擇ITSM,在告警概覽頁面,單擊創(chuàng)建告警規(guī)則進行告警規(guī)則的創(chuàng)建。
根據(jù)需求設置告警參數(shù)。具體操作,請參見Grafana官方文檔。
您需要在Notifications區(qū)域輸入自定義Labels的key和value,例如
grafana_alertname=Pod磁盤使用率_hangzhou
。在步驟四:創(chuàng)建通知策略時可以通過此處設置的標簽匹配到當前告警規(guī)則。告警規(guī)則創(chuàng)建完成后,單擊右上角的Save rule。
當Grafana告警被觸發(fā)時,告警事件會上報至ARMS告警管理的告警事件歷史頁面。更多信息,請參見查看告警事件歷史。
說明在告警事件歷史頁面,您可以設置集成名稱為ARMS_GRAFANA,以篩選由Grafana告警規(guī)則上報的事件。
步驟三:創(chuàng)建通知對象
Grafana 9.0.x版本
在Grafana左側(cè)導航欄,選擇 > 通知對象,然后根據(jù)需求選擇創(chuàng)建不同的通知對象。具體操作,請參見告警通知對象。
聯(lián)系人或聯(lián)系人組:適用于郵件、電話、短信通知場景。
釘釘/飛書/企業(yè)微信:適用于團隊協(xié)作群處理告警場景。
Webhook:適用于將告警推送到Pagerduty、Teams Incoming Webhook、企業(yè)內(nèi)部平臺等第三方通知對象。
排班管理:適用于團隊輪流處理告警的場景。
Grafana 10.0.x版本
在Grafana左上角,單擊,選擇ITSM > 通知對象,然后根據(jù)需求選擇創(chuàng)建不同的通知對象。具體操作,請參見告警通知對象。
聯(lián)系人或聯(lián)系人組:適用于郵件、電話、短信通知場景。
釘釘/飛書/企業(yè)微信:適用于團隊協(xié)作群處理告警場景。
Webhook:適用于將告警推送到Pagerduty、Teams Incoming Webhook、企業(yè)內(nèi)部平臺等第三方通知對象。
排班管理:適用于團隊輪流處理告警的場景。
步驟四:創(chuàng)建通知策略
Grafana 9.0.x版本
在Grafana左側(cè)導航欄選擇 > 通知策略,然后單擊新建通知策略。
在新建通知策略頁面左上角,設置通知策略名稱。
在匹配規(guī)則步驟設置告警事件的匹配規(guī)則。
選擇數(shù)據(jù)來源為Grafana。
單擊+添加條件,輸入步驟二設置的Labels的key和value,例如:
grafana_alertname等于Pod磁盤使用率_hangzhou
。說明條件2表示過濾集成為Grafana的告警規(guī)則,如果不添加條件3,則當前Grafana工作區(qū)的所有告警規(guī)則都會通過此通知策略進行分派。
單擊下一步。
根據(jù)需求設置其他參數(shù),然后單擊保存。具體操作,請參見通知策略。
Grafana 10.0.x版本
在Grafana左上角,單擊,選擇ITSM > 通知策略,然后單擊新建通知策略。
在新建通知策略頁面左上角,設置通知策略名稱。
在匹配規(guī)則步驟設置告警事件的匹配規(guī)則。
選擇數(shù)據(jù)來源為Grafana。
單擊+添加條件,輸入步驟二設置的Labels的key和value,例如:
grafana_alertname等于Pod磁盤使用率_hangzhou
。說明條件2表示過濾集成為Grafana的告警規(guī)則,如果不添加條件3,則當前Grafana工作區(qū)的所有告警規(guī)則都會通過此通知策略進行分派。
單擊下一步。
根據(jù)需求設置其他參數(shù),然后單擊保存。具體操作,請參見通知策略。
步驟五:查看告警通知
當通知策略被觸發(fā)時,收到的告警通知如下所示:
短信
郵件
釘釘/飛書/企業(yè)微信
在釘釘/飛書/企業(yè)微信群中收到告警通知后,您可以直接在群中處理告警。具體操作,請參見在告警通知群中處理告警。