日志服務機器學習功能為您提供多種功能豐富的算法和便捷的調用方式,您可以在日志查詢分析中通過分析語句和機器學習函數調用機器學習算法,分析某一字段或若干字段在一段時間內的特征。
針對時序數據分析場景,日志服務提供了豐富的時序分析算法,可以幫助您快速解決時序預測、時序異常檢測、序列分解、多時序聚類等場景問題,兼容SQL標準接口,大大降低了您使用算法的門檻,提高分析問題和解決問題的效率。
功能特點
- 支持單時序序列的多種平滑操作。
- 支持單時序序列的預測、異常檢測、變點檢測、折點檢測、多周期估計算法。
- 支持單時序序列的分解操作。
- 支持多時序序列的多種聚類算法。
- 支持多字段(數值列、文本列)的模式挖掘。
使用限制
使用日志服務機器學習函數須遵循以下限制:
- 輸入的時序數據必須是基于相同時間間隔的采樣數據。
- 輸入的時序數據中不能含有重復時間點的數據。
- 處理容量限制。
限制項 說明 時序數據處理的有效容量 上限為150,000個連續時間點數據。 若數量超過上限,請進行聚合操作或者降采樣操作。
密度聚類算法的聚類容量 上限為5000條時序曲線,每條時序曲線的長度最大為1440個點。 層次聚類算法的聚類容量 上限為2000條時序曲線,每條時序曲線的長度最大為1440個點。
機器學習函數
類別 | 函數 | 說明 | |
---|---|---|---|
時間序列 | 平滑函數 | ts_smooth_simple | 使用Holt Winters算法對時序數據平滑。 |
ts_smooth_fir | 使用FIR濾波器對時序數據平滑。 | ||
ts_smooth_iir | 使用IIR濾波器對時序數據平滑。 | ||
多周期估計函數 | ts_period_detect | 對時序數據進行分段周期估計。 | |
變點檢測函數 | ts_cp_detect | 尋找時序序列中具有不同統計特性的區間,區間端點即為變點。 | |
ts_breakout_detect | 尋找時序序列中,某統計量發生陡升或陡降的點。 | ||
極大值檢測函數 | ts_find_peaks | 極大值檢測函數用于在指定窗口中尋找序列的局部極大值。 | |
預測與異常檢測函數 | ts_predicate_simple | 利用默認參數對時序數據進行建模,并進行簡單的時序預測和異常點的檢測。 | |
ts_predicate_ar | 使用自回歸模型對時序數據進行建模,并進行簡單的時序預測和異常點的檢測。 | ||
ts_predicate_arma | 使用移動自回歸模型對時序數據進行建模,并進行簡單的時序預測和異常點檢測。 | ||
ts_predicate_arima | 使用帶有差分的移動自回歸模型對時序數據進行建模,并進行簡單的時序預測和異常點檢測。 | ||
ts_regression_predict | 針對含有周期性、趨勢性的單時序序列,進行準確且長時序預測。 | ||
序列分解函數 | ts_decompose | 使用STL算法對時序數據進行序列分解。 | |
時序聚類函數 | ts_density_cluster | 使用密度聚類方法對多條時序數據進行聚類。 | |
ts_hierarchical_cluster | 使用層次聚類方法對多條時序數據進行聚類。 | ||
ts_similar_instance | 查找到指定曲線名稱的相似曲線。 | ||
核密度估計函數 | kernel_density_estimation | 核密度估計函數采用平滑的峰值函數來擬合觀察到的數據點,從而對真實的概率分布曲線進行模擬。 | |
時序補點函數 | series_padding | 如果時間序列中存在數據缺失問題,可以使用時序補點函數補齊缺失的數據。 | |
異常對比函數 | anomaly_compare | 用于比較某個觀測對象在兩個時間段的差異程度。 | |
模式挖掘 | 頻繁模式統計 | pattern_stat | 統計模式中的頻繁模式,在給定的多屬性字段樣本中,挖掘出具有一定代表性的屬性組合。 |
差異模式統計 | pattern_diff | 在指定條件下找出導致兩個集合差異的模式。 | |
根因分析函數 | rca_kpi_search | 在時序指標發生異常時,根因分析函數可以快速分析出是哪些相關維度屬性發生異常而導致監控指標發生異常。 | |
相關性分析函數 | ts_association_analysis | 針對系統中的多個觀測指標,快速找出和某個指標項相關的指標名稱。 | |
ts_similar | 針對系統中的多個觀測指標,快速找出和用戶輸入的時序序列相關的指標名稱。 | ||
URL請求分類函數 | url_classify | URL請求分類函數會自動將您輸入的URL請求路徑進行歸類打標簽,并提供類別的正則表達式,幫助您更好的歸類URL。 |