MSE事件中心對注冊配置中心、微服務治理、云原生網關生成的事件數據進行集成,讓您感知所有MSE托管資源的事件變更,并針對異常事件進行自主排查。本文介紹微服務引擎MSE支持的所有事件,并為各事件提供處理建議。
Nacos
事件Code | 事件名稱 | 事件等級 | 云監控事件名稱 | 事件說明和影響 | 事件處理建議 |
Nacos:TPSRateLimit | Nacos客戶端TPS限流 | 警告 | Nacos:TPSRateLimit:Normal:Nacos集群客戶端TPS過高,即將限流(監視模式) | 客戶端訪問Nacos引擎的TPS過高,為保護Nacos引擎穩定運行,即將進行請求限流,當前處于監視模式,超出TPS的請求不會被拒絕訪問。 | 升級集群配置或擴容節點,并檢查是否有錯誤使用導致TPS過高。如:頻繁調用Nacos openAPI,多次創建Nacos Client等問題。 |
嚴重 | Nacos:TPSRateLimit:Executing:Nacos客戶端TPS限流 | 客戶端訪問Nacos引擎的TPS過高,為保護Nacos引擎穩定運行,進行請求限流,將導致部分超出TPS的請求被拒絕訪問。 | 升級集群配置或擴容節點,并檢查是否有錯誤使用導致TPS過高。如:頻繁調用Nacos openAPI,多次創建Nacos Client等問題。 | ||
Nacos:ConfigCapLimit | Nacos集群配置數限流 | 警告 | Nacos:ConfigCapLimit:Normal:Nacos集群當前配置數過多,即將限流(監視模式) | 超過Nacos集群默認配置的個數上限(10000個),即將進行配置創建限流,當前處于監視模式,不會禁止創建配置,不影響發布新配置。 | 及時清理不使用的配置內容,同時排查是否存在應用自動發布大量配置的情況。 |
嚴重 | Nacos:ConfigCapLimit:Executing:Nacos集群配置數限流 | 超過Nacos集群默認配置的個數上限(10000個),進行配置創建限流,將導致禁止創建配置,影響發布新配置。 | 及時清理不使用的配置內容,同時排查是否存在應用自動發布大量配置的情況。 | ||
Nacos:ServiceCapLimit | Nacos集群服務數限流 | 警告 | Nacos:ServiceCapLimit:Normal:Nacos集群服務數過多,即將限流(監視模式) | 注冊了過多的服務,達到集群存儲上限,為保護Nacos引擎穩定運行,即將進行服務注冊限流,當前處于監視模式,不導致無法注冊新的服務及服務提供者。 | 升級集群配置或擴容節點,并檢查是否存在錯誤的發布服務,重復發布服務或多次創建Nacos Client等問題。 |
嚴重 | Nacos:ServiceCapLimit:Executing:Nacos集群服務數限流 | 注冊了過多的服務,達到集群存儲上限,為保護Nacos引擎穩定運行,進行服務注冊限流,將導致無法注冊新的服務及服務提供者。 | 升級集群配置或擴容節點,并檢查是否存在錯誤的發布服務,重復發布服務或多次創建Nacos Client等問題。 | ||
Nacos:ConnectionCapLimit | Nacos集群連接數限流 | 警告 | Nacos:ConnectionCapLimit:Normal:Nacos集群連接數過多,即將限流(監視模式) | 有過多的客戶端連接到Nacos引擎,達到集群上限,為保護Nacos引擎穩定運行,即將進行新建連接限流,當前處于監視模式,新創建的Nacos Client仍然可以連接到Nacos引擎。 | 升級集群配置或擴容節點,并檢查是否存在錯誤的使用方式,比如:重復多次創建Nacos Client,未關閉Nacos Client導致連接泄漏等問題。 |
嚴重 | Nacos:ConnectionCapLimit:Executing:Nacos集群連接數限流 | 有過多的客戶端連接到Nacos引擎,達到集群上限,為保護Nacos引擎穩定運行,進行新建連接限流,將導致新創建的Nacos Client無法連接到Nacos引擎。 | 升級集群配置或擴容節點,并檢查是否存在錯誤的使用方式,比如:重復多次創建Nacos Client,未關閉Nacos Client導致連接泄漏等問題。 | ||
Nacos:ParametersIllegalDenied | Nacos集群請求參數不合法 | 警告 | Nacos:ParametersIllegalDenied:Normal:Nacos集群請求參數不合法,即將限流(監視模式) | 客戶端請求Nacos集群的參數不合法,服務端即將拒絕不合法的參數,當前處于監視模式,仍然會返回正常結果。 | 檢查客戶端請求參數是否符合規范。 |
嚴重 | Nacos:ParametersIllegalDenied:Executing:Nacos集群請求參數不合法,觸發限流 | 客戶端請求Nacos集群的參數不合法,服務端將拒絕不合法的參數,返回錯誤碼。 | 檢查客戶端請求參數是否符合規范。 | ||
Nacos:CPUAlert | Nacos集群CPU使用率過高 | 警告 | Nacos:CPUAlert:Executing:Nacos集群當前CPU使用率過高 | Nacos集群CPU使用率過高,負載過大。可能影響后續請求的響應時間,甚至導致請求無法響應。 | 升級集群配置或擴容節點,并檢查是否有錯誤使用導致負載過高。 |
Nacos:MemoryAlert | Nacos集群內存使用率過高 | 警告 | Nacos:MemoryAlert:Executing:Nacos集群當前內存使用率過高 | Nacos集群內存使用率過高,存在OOM Killer的風險。可能導致Nacos節點重啟。 | 升級集群配置。 |
Nacos:FullGc | Nacos集群發生(長時間/多次)FullGC | 警告 | Nacos:FullGc:Executing:Nacos集群發生(長時間/多次)FullGC | Nacos集群頻繁觸發Full GC,容量已不足。可能影響后續請求的響應時間,甚至導致請求無法響應。 | 升級集群配置或擴容節點,并檢查是否因操作不當導致容量不足。 |
Nacos:TooManyConfigAlert | Nacos集群配置數量過多 | 警告 | Nacos:TooManyConfigAlert:Nacos集群配置數量過多 | 超過Nacos集群默認配置的個數上限(10000個),超過部分將禁止創建配置。可能影響發布新配置。 | 清理無用配置。 |
Nacos:TooManyConfigLongPolling | Nacos集群配置長輪詢數量過多 | 警告 | Nacos:TooManyConfigLongPolling:Nacos集群配置長輪詢數量過多 | Nacos集群配置中心監聽者數量過多,負載過高。可能頻繁觸發FullGC,影響后續請求的響應時間,甚至導致請求無法響應。 | 升級集群配置或擴容節點,并檢查是否因操作不當導致容量不足。 |
Nacos:ProviderDropTooFast | Nacos集群服務提供者環比下跌比例過高 | 警告 | Nacos:ProviderDropTooFast:Executing:Nacos集群服務提供者環比下跌比例過高 | 比較當前時間和3分鐘前的Nacos集群服務提供者數,發現Nacos集群服務提供者下跌超過50%,可能導致業務上游服務無法找到下游服務提供者。 | 檢查是否有大規模應用故障或網絡故障。如因預期內的大規模發布而產生,可忽略該事件。 |
Zookeeper
事件Code | 事件名稱 | 事件等級 | 云監控事件名稱 | 事件說明和影響 | 事件處理建議 |
ZooKeeper:ExceedEphemeralLimit | ZooKeeper單個session創建臨時節點超過限制(limit=2000) | 嚴重 | ZooKeeper:ExceedEphemeralLimit:ZooKeeper單個session創建臨時節點超過限制(limit=2000) | 單Session節點下創建過多的臨時節點。可能導致該Session中新的臨時節點創建失敗。 |
|
ZooKeeper:FullGc | ZooKeeper集群發生(長時間/多次)FullGC | 警告 | ZooKeeper:CMSGc:Executing:ZooKeeper集群發生(長時間/多次)FullGC | Full GC時間過長。可能導致處理延時增大,響應超時,導致觸發自愈重啟。 |
|
ZooKeeper:CPUAlert | ZooKeeper集群CPU使用率過高 | 警告 | ZooKeeper:CPUAlert:Executing:ZooKeeper集群CPU使用率過高中 | CPU過高。可能導致處理延時增大,響應超時,導致觸發自愈重啟 | 容量不足,若持續過高,建議擴容。 |
云原生網關
事件Code | 事件名稱 | 事件等級 | 云監控事件名稱 | 事件說明和影響 | 事件處理建議 |
Gateway:ElasticScaleOut | 云原生網關彈性擴容 | 警告 | Gateway:ElasticScaleOut:Failed:云原生網關彈性擴容執行失敗 | 執行彈性擴容時,云原生網關會根據擴容所處的狀態產生此事件。 | 根據控制臺事件詳情指引進行排查。 |
信息 | Gateway:ElasticScaleOut:Executing:云原生網關彈性擴容執行中 | 按需關注。 | |||
信息 | Gateway:ElasticScaleOut:Executed:云原生網關彈性擴容執行成功 | 按需關注。 | |||
Gateway:ElasticScaleIn | 云原生網關彈性縮容 | 警告 | Gateway:ElasticScaleIn:Failed:云原生網關彈性縮容執行失敗 | 執行彈性縮容時,云原生網關會根據縮容所處的狀態產生此事件。 | 根據控制臺事件詳情指引進行排查。 |
信息 | Gateway:ElasticScaleIn:Executing:云原生網關彈性縮容執行中 | 按需關注。 | |||
信息 | Gateway:ElasticScaleIn:Executed:云原生網關彈性縮容執行成功 | 按需關注。 | |||
Gateway:ElasticOpen | 云原生網關彈性開啟 | 警告 | Gateway:ElasticOpen:Failed:云原生網關彈性開啟失敗 | 開啟自動擴容時,云原生網關會根據開啟結果產生此事件。 | 根據控制臺事件詳情指引進行排查。 |
信息 | Gateway:ElasticOpen:Executed:云原生網關彈性開啟成功 | 按需關注。 | |||
Gateway:ElasticClose | 云原生網關彈性關閉 | 警告 | Gateway:ElasticClose:Failed:云原生網關彈性關閉失敗 | 關閉自動擴容時,云原生網關會根據關閉結果產生此事件。 | 根據控制臺事件詳情指引進行排查。 |
信息 | Gateway:ElasticClose:Executed:云原生網關彈性關閉成功 | 按需關注。 | |||
Gateway:ElasticStrategyUpdate | 云原生網關彈性策略更新 | 警告 | Gateway:ElasticStrategyUpdate:Failed:云原生網關彈性策略更新失敗 | 自動擴容處于開啟狀態時,云原生網關會更新自動擴容策略,并根據更新結果產生此事件。 | 根據控制臺事件詳情指引進行排查。 |
信息 | Gateway:ElasticStrategyUpdate:Executed:云原生網關彈性策略更新成功 | 按需關注。 |
微服務治理
事件Code | 事件名稱 | 事件等級 | 云監控事件名稱 | 事件說明和影響 | 事件處理建議 |
Governance:FlowTrafficBlock | 微服務治理應用接口觸發流控規則 | 警告 | Governance:FlowTrafficBlock:Executing:微服務治理應用接口流控規則觸發中 | 微服務治理應用配置的接口流控規則觸發時,產生此事件。 | 接口出現突發流量,建議持續觀察。 |
Governance:CircleBreakerTrafficBlock | 微服務治理應用接口觸發熔斷規則 | 警告 | Governance:CircleBreakerTrafficBlock:Executing:微服務治理應用接口熔斷規則觸發中 | 微服務治理應用配置的熔斷規則觸發時,會產生此事件。 | 下游接口出現不穩定情況(慢調用、異常服務等),建議檢查下游依賴。 |
Governance:ParamsTrafficBlock | 微服務治理應用接口觸發熱點防護規則 | 警告 | Governance:ParamsTrafficBlock:Executing:微服務治理應用接口流控規則觸發中 | 微服務治理應用配置的熱點參數防護規則觸發時,產生此事件。 | 出現熱點參數調用,建議對相關數據進行預熱。 |
Governance:GracefulShutdown | 微服務無損下線 | 信息 | Governance:GracefulShutdown:微服務無損下線 | 微服務無損下線完成時,產生該事件,即應用接入MSE后無損下線能力自動開啟。 | 按需關注。 |
Governance:RegistrationFinish | 微服務注冊上線 | 信息 | Governance:RegistrationFinish:微服務注冊上線 | 開啟無損上線后,微服務注冊上線完成時,產生此事件。 | 按需關注。 |
Governance:WarmupStart | 微服務預熱開始 | 信息 | Governance:WarmupStart:微服務預熱開始 | 開啟無損上線后,微服務治理應用的新實例開始流量預熱時,產生此事件。 | 按需關注。 |
Governance:WarmupEnd | 微服務預熱完成 | 信息 | Governance:WarmupEnd:微服務預熱完成 | 開啟無損上線后,微服務治理應用的新實例流量預熱完成時,產生此事件。 | 按需關注。 |
Governance:ReadinessFinish | 微服務通過K8s的Readiness檢測 | 信息 | Governance:ReadinessFinish:微服務通過K8s的Readiness檢測 | 開啟無損上線后,微服務治理應用完成Kubernetes的Readiness檢測時,產生此事件。 | 按需關注。 |
Governance:GracefulShutdown | 微服務手動下線 | 信息 | Governance:GracefulShutdown:微服務手動下線 | 在微服務治理控制臺的節點詳情中,對節點執行服務下線操作并且操作生效時,會產生該事件。 | 按需關注。 |
Governance:RegistrationFinish | 微服務手動上線 | 信息 | Governance:RegistrationFinish:微服務手動上線 | 在微服務治理控制臺的節點詳情中,對節點執行服務上線操作并且操作生效時,會產生該事件。 | 按需關注。 |
Governance:ApplicationStop | 微服務應用停機 | 信息 | Governance:ApplicationStop:微服務應用停機 | 開啟無損下線后,微服務治理應用在執行完無損下線流程后,開始真正停機之前,會產生該事件。 | 按需關注。 |