DAS的7x24實時異常檢測通過機器學(xué)習(xí)算法，實時對數(shù)據(jù)庫的Workload進行異常檢測，相比傳統(tǒng)基于閾值的告警方式，能夠更及時的發(fā)現(xiàn)數(shù)據(jù)庫的異常，而不是靠故障驅(qū)動。您可以采集各種數(shù)據(jù)，比如從鏈路上采集數(shù)百個數(shù)據(jù)庫性能指標和從鏈路上采集已加載SQL語句的查詢?nèi)罩荆Ａ繑?shù)據(jù)的離在線處理與存儲，基于機器學(xué)習(xí)和數(shù)據(jù)庫領(lǐng)域預(yù)測算法，實現(xiàn)各業(yè)務(wù)數(shù)據(jù)庫實例的持續(xù)模型訓(xùn)練，實時模型預(yù)測和實時異常檢測分析能夠順利運行。相比傳統(tǒng)基于規(guī)則和基于閾值的方式，實時異常檢測具備以下優(yōu)勢：

• 檢測范圍更廣，例如不僅限監(jiān)控指標， 還包括SQL、日志、鎖等。

• 實現(xiàn)準實時的檢測，大大超前傳統(tǒng)方式發(fā)現(xiàn)異常。

• 基于AI和異常驅(qū)動的檢測技術(shù)，而非故障驅(qū)動的檢測。

• 具備周期性識別能力，自適應(yīng)業(yè)務(wù)特征，擁有提前預(yù)測能力。

按照經(jīng)驗，約80%的數(shù)據(jù)庫性能問題可通過SQL優(yōu)化手段解決，但SQL優(yōu)化一直以來都是一個非常復(fù)雜的過程，需要多方面的數(shù)據(jù)庫領(lǐng)域?qū)＜抑R和經(jīng)驗，另外，由于SQL工作負載不斷變化，SQL優(yōu)化還是一項非常耗時繁重的任務(wù)，這些都決定了SQL優(yōu)化是一項高門檻，高投入且非常專業(yè)的工作。

數(shù)據(jù)庫自治服務(wù)DAS基于全局workload和真實的業(yè)務(wù)場景，持續(xù)對數(shù)據(jù)庫進行SQL Review和優(yōu)化，就像有一個不知疲倦的專業(yè)DBA一直在守護著您的數(shù)據(jù)庫，將SQL優(yōu)化推向了更高的境界。同時，DAS的SQL診斷能力有與傳統(tǒng)不同的技術(shù)特征，如：

• DAS采用外置式的，基于代價模型方式，實現(xiàn)索引、語句改寫推薦，以及性能瓶頸問題識別和推薦，避免傳統(tǒng)規(guī)則式的，過于機械化，推薦質(zhì)量無法保證，無法量化性能提升收益等問題。

• DAS在這些方面提供了足夠覆蓋度的場景：測試用例的正式特征庫、在線用例的自動反饋提取、阿里巴巴多樣化的應(yīng)用場景。

• 基于全局的Workload優(yōu)化，基于Workload特征，例如SQL執(zhí)行頻率，讀寫比等進行優(yōu)化，最大限度地消除局部優(yōu)化的片面性弊端。

下面是雙11期間自動SQL優(yōu)化一個實際案例：某自治服務(wù)接入實例， DAS于11月7日通過負載異常檢測到因慢SQL引起的負載異常，自動觸發(fā)SQL優(yōu)化閉環(huán)，SQL語句優(yōu)化上線后，經(jīng)過持續(xù)24小時優(yōu)化效果跟蹤完成優(yōu)化收益評估，優(yōu)化效果顯著，如優(yōu)化之前后的平均RT及掃描行數(shù)如下圖所示，據(jù)統(tǒng)計，在優(yōu)化之前，被優(yōu)化SQL的平均掃描行數(shù)為148889.198，平均RT為505.561毫秒。而優(yōu)化之后，平均掃描行數(shù)為12.132，大約降為優(yōu)化前的萬分之一，而平均RT降至0.471毫秒，也大約降低到優(yōu)化前的千分之一。

• 自動SQL優(yōu)化前平均RT及掃描行數(shù)：

• 自動SQL優(yōu)化后平均RT及掃描行數(shù)：

DAS的自動彈性實現(xiàn)了一套完整的數(shù)據(jù)閉環(huán)，包含性能采集、決策中心、算法模型、規(guī)格建議模塊、管控執(zhí)行以及任務(wù)跟蹤評估等。

• 性能采集負責對實例進行實時性能數(shù)據(jù)采集，涉及數(shù)據(jù)庫的多項性能指標信息、規(guī)格配置信息、實例運行會話信息等。

• 決策中心模塊則會根據(jù)當前性能數(shù)據(jù)、實例會話列表數(shù)據(jù)等信息進行全局判斷，以基于根因的全局自治，例如可通過SQL限流來解決當前計算資源不足的問題則會采取限流處理。若確實為突增的業(yè)務(wù)流量，則會繼續(xù)進行彈性服務(wù)流程。

• 算法模型是整個DAS 自動彈性服務(wù)的核心，負責對數(shù)據(jù)庫實例的業(yè)務(wù)負載異常檢測和容量規(guī)格模型推薦進行計算，解決核心的擴容時機、擴容方式、計算規(guī)格選擇問題。

• 規(guī)格推薦和驗證模塊生成具體的推薦規(guī)范，并檢查推薦的規(guī)范是否適合數(shù)據(jù)庫實例的部署類型和實際運行環(huán)境。該模塊還會重復(fù)檢查推薦的規(guī)范是否可以在當前區(qū)域購買，這確保了推薦的規(guī)范可以在管理端順利使用。

• 管控執(zhí)行負責按照產(chǎn)出的規(guī)格建議進行分發(fā)執(zhí)行。

• 狀態(tài)跟蹤最后用于衡量和跟蹤規(guī)格變更前后數(shù)據(jù)庫實例上的性能變化情況。

下圖是雙11期間自動SQL優(yōu)化一個實際案例，某自治服務(wù)接入實例，用戶的業(yè)務(wù)流量不斷上升，PolarDB實例的CPU使用率不斷飆高并達到了高負載狀態(tài)，此時DAS的Autoscaling算法精確的識別出了實例當前的異常狀態(tài)，于是自動為實例增加了兩個只讀節(jié)點，實例的CPU使用率成功降到了較低的水位；在維持該狀態(tài)兩個小時后，用戶實例的流量依然在不斷上升，并第二次觸發(fā)DAS的Autoscaling，DAS Autoscaling將實例的規(guī)格從4核8GB升級到8核16GB，并平穩(wěn)持續(xù)了10多個小時，幫助用戶順利度過了業(yè)務(wù)高峰期。

傳統(tǒng)的壓測方案大部分基于現(xiàn)有的壓測工具，如sysbench、TPCC等，其最大的問題是這些壓測工具對應(yīng)的SQL與真實業(yè)務(wù)差距太大，壓測結(jié)果無法準確反映出真實業(yè)務(wù)的性能和穩(wěn)定性。DAS提供的智能壓測服務(wù)是基于用戶真實業(yè)務(wù)的workload，因此壓測結(jié)果可以直接體現(xiàn)在不同壓力下的性能和穩(wěn)定性變化。達到該目標，智能壓測需要解決如下挑戰(zhàn)：

• 在不能采集大量SQL的情況，如何提供長時間壓測，如7x24小時穩(wěn)定性壓測。因為SQL采集需要時間和存儲成本，在給定部分SQL的情況，DAS需要生成滿足業(yè)務(wù)要求的SQL。

• 并發(fā)回放能力：DAS需要保證和真實業(yè)務(wù)一致的并發(fā)，并能夠提供倍速（如2倍速、10倍速等）和峰值壓測功能。