日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

異常指標監控

PAI提供了特征編碼、模型訓練及模型評估全套功能,您只需要抽取異常行為特征,并對其進行標記,即可快速構建異常指標監控模型。

背景信息

用戶系統中的異常數據(例如運維系統的CPU消耗突然增高或某平臺突然產生大量不良信息)屬于平臺異常指標。如果能實時高效地監控平臺指標,并對各種異常指標進行預防和實時預警,將大幅度提升平臺的智能化安全防衛能力。

解決方案

PAI提供了一套基于指標監控的分類算法,將異常指標監控抽象為二分類場景,并將監控模型部署至在線系統,從而實現近線風控。該方案的要求如下:

  • 人力要求:需要熟悉機器學習經典算法,尤其是特征工程及二分類算法。

  • 開發周期:1~2天。

  • 數據要求:上千條的標簽數據,該數據標記了異常數據和正常數據。

數據集

本工作流使用的數據為系統級別監控日志數據,共22544條數據,其中異常數據為9711條。工作流的示例數據如下。異常監控實驗數據

參數名稱

參數描述

protocol_type

網絡連接協議,包括tcp、icmpudp等。

service

服務協議,包括HTTP、finger、popprivatesmtp等。

flage

取值包括SF、RSTOREJ

a2~a38

不同的系統指標。

class

標簽字段。其中normal表示正常樣本,anomaly表示異常樣本。

異常指標監控

  1. 進入Designer頁面。

    1. 登錄PAI控制臺。

    2. 在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應的工作空間。

    3. 在工作空間頁面的左側導航欄選擇模型開發與訓練 > 可視化建模(Designer),進入Designer頁面。

  2. 構建工作流。

    1. Designer頁面,單擊預置模板頁簽。

    2. 在模板列表,單擊異常行為風控下的創建。

    3. 新建工作流對話框,配置參數(可以全部使用默認參數)。

      其中:工作流數據存儲配置為OSS Bucket路徑,用于存儲工作流運行中產出的臨時數據和模型。

    4. 單擊確定。

      您需要等待大約十秒鐘,工作流可以創建成功。

    5. 在工作流列表,雙擊異常行為風控,進入工作流。

    6. 系統根據預置的模板,自動構建工作流,如下圖所示。

      異常監控實驗

      區域

      描述

      工作流的數據集。

      特征工程:

      1. 通過one-hot編碼組件將字符型特征轉化為數值型。

      2. 通過歸一化組件將所有數據限定至0~1之間,從而去除量綱影響。歸一化后的數據如下圖所示。歸一化結果

      3. 通過SQL腳本將目標列為anomaly的標記為1,將目標列為normal的標記為0。SQL示例如下。

        select (case class  when 'anomaly' then 1 else 0 end) as class from  ${t1};

      根據正常和異常樣本,使用邏輯回歸二分類算法訓練監控模型。

      使用二分類評估組件進行模型驗證,可以通過AUC、KSF1Score等指標評估模型效果。

  3. 運行工作流并查看模型效果。

    1. 單擊畫布上方的image。

    2. 工作流運行結束后,右鍵單擊畫布中的二分類評估,在快捷菜單,單擊可視化分析

    3. 二分類評估對話框,單擊指標數據頁簽,即可查看模型評估指標數據。

      指標監控模型結果其中AUC值表示該實驗模型的預測準確率達到了90%以上。