PAI提供了特征編碼、模型訓練及模型評估全套功能,您只需要抽取異常行為特征,并對其進行標記,即可快速構建異常指標監控模型。
背景信息
用戶系統中的異常數據(例如運維系統的CPU消耗突然增高或某平臺突然產生大量不良信息)屬于平臺異常指標。如果能實時高效地監控平臺指標,并對各種異常指標進行預防和實時預警,將大幅度提升平臺的智能化安全防衛能力。
解決方案
PAI提供了一套基于指標監控的分類算法,將異常指標監控抽象為二分類場景,并將監控模型部署至在線系統,從而實現近線風控。該方案的要求如下:
人力要求:需要熟悉機器學習經典算法,尤其是特征工程及二分類算法。
開發周期:1~2天。
數據要求:上千條的標簽數據,該數據標記了異常數據和正常數據。
數據集
本工作流使用的數據為系統級別監控日志數據,共22544條數據,其中異常數據為9711條。工作流的示例數據如下。
參數名稱 | 參數描述 |
protocol_type | 網絡連接協議,包括tcp、icmp及udp等。 |
service | 服務協議,包括HTTP、finger、pop、private及smtp等。 |
flage | 取值包括SF、RSTO及REJ。 |
a2~a38 | 不同的系統指標。 |
class | 標簽字段。其中normal表示正常樣本,anomaly表示異常樣本。 |
異常指標監控
進入Designer頁面。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應的工作空間。
在工作空間頁面的左側導航欄選擇 ,進入Designer頁面。
構建工作流。
在Designer頁面,單擊預置模板頁簽。
在模板列表,單擊異常行為風控下的創建。
在新建工作流對話框,配置參數(可以全部使用默認參數)。
其中:工作流數據存儲配置為OSS Bucket路徑,用于存儲工作流運行中產出的臨時數據和模型。
單擊確定。
您需要等待大約十秒鐘,工作流可以創建成功。
在工作流列表,雙擊異常行為風控,進入工作流。
系統根據預置的模板,自動構建工作流,如下圖所示。
區域
描述
①
工作流的數據集。
②
特征工程:
通過one-hot編碼組件將字符型特征轉化為數值型。
通過歸一化組件將所有數據限定至0~1之間,從而去除量綱影響。歸一化后的數據如下圖所示。
通過SQL腳本將目標列為anomaly的標記為1,將目標列為normal的標記為0。SQL示例如下。
select (case class when 'anomaly' then 1 else 0 end) as class from ${t1};
③
根據正常和異常樣本,使用邏輯回歸二分類算法訓練監控模型。
④
使用二分類評估組件進行模型驗證,可以通過AUC、KS及F1Score等指標評估模型效果。
運行工作流并查看模型效果。
單擊畫布上方的。
工作流運行結束后,右鍵單擊畫布中的二分類評估,在快捷菜單,單擊可視化分析。
在二分類評估對話框,單擊指標數據頁簽,即可查看模型評估指標數據。
其中AUC值表示該實驗模型的預測準確率達到了90%以上。