使用節(jié)點彈性大盤
隨著集群規(guī)模擴大和頻繁自動伸縮彈性，僅憑人工手動方式很難快速定位及發(fā)現(xiàn)問題，也很難追溯歷史，基本不可能發(fā)現(xiàn)在長時間線上統(tǒng)計才能發(fā)現(xiàn)的異常。本文介紹如何通過節(jié)點彈性大盤上展示的Pod、Node詳情及變化圖表，快速排查定位問題。
前提條件
若您需要使用節(jié)點彈性大盤功能，請提交工單申請。
Kubernetes集群已開啟事件中心。詳細信息，請參見事件監(jiān)控。
Kubernetes集群已開啟審計日志。詳細信息，請參見使用集群API Server審計功能。
節(jié)點彈性大盤詳情
節(jié)點彈性大盤目前分為4個部分，下面詳細介紹大盤每個組成部分的展示數(shù)據(jù)及圖表的含義。
總覽表盤
總覽部分由5組數(shù)據(jù)組成，也是彈性運維最關心的5組數(shù)據(jù)。
總節(jié)點數(shù)： 集群中所有節(jié)點的數(shù)目，反映集群容量水位。
可用節(jié)點數(shù)：集群中KubeletReady的節(jié)點數(shù)目，如果與總節(jié)點數(shù)不一致則說明有些節(jié)點處于KubeletNotReady狀態(tài)，如果這些節(jié)點并非正在加入，那有可能是故障，需要特別關注。
集群可擴容：集群是否處于可擴容的狀態(tài)，如果這里顯示NO，表示集群中未達
Ready狀態(tài)的節(jié)點數(shù)目大于設置的上限，則一切擴容活動都不會進行。最近擴容活動：在所選擇的時間范圍內(nèi)的集群發(fā)生節(jié)點擴容活動總數(shù)。
最近縮容活動：在所選擇的時間范圍內(nèi)的集群發(fā)生節(jié)點縮容活動總數(shù)。
Pod詳情
Pod詳情由兩種圖表構成：
不可調(diào)度Pod趨勢圖：展示的是集群中狀態(tài)為
Pending的Pod總數(shù)在時間維度的曲線圖，不可調(diào)度Pod往往可以反映一個集群中的擴容壓力。驅逐Pod趨勢圖：展示的是集群中發(fā)生
eviction的Pod總數(shù)在時間維度的曲線。驅逐Pod的出現(xiàn)，說明對應Node上的資源使用水位已經(jīng)下降到閾值之下。
節(jié)點詳情
節(jié)點狀態(tài)趨勢圖：展示了總節(jié)點數(shù)、KubeletReady節(jié)點數(shù)和KubeletNotReady節(jié)點數(shù)。其中KubeletNotReady節(jié)點數(shù)是排除了當前時刻距離creationTimeStamp 10分鐘內(nèi)的新加入節(jié)點的。
節(jié)點彈性擴容趨勢圖和節(jié)點彈性縮容趨勢圖：這兩個圖展示了節(jié)點擴容事件和縮容事件在時間維度下的圖表。擴容事件是每次cluster-autoscaler觸發(fā)彈性時會產(chǎn)生的ScaledUpGroup，數(shù)據(jù)是總數(shù)。縮容事件是采集每次縮容時cluster-autoscaler的ScaleDown events。
彈性活動列表
彈性活動列表是擴縮相關的Event的表，主要是給用戶提供關于擴、縮活動的搜索功能，方便問題定位。
節(jié)點彈性大盤使用方法
發(fā)現(xiàn)問題
是否存在異常節(jié)點：總節(jié)點數(shù)是否等于可用節(jié)點數(shù)，如果不等則說明可能有節(jié)點異常。
集群容量規(guī)劃是否合理：大多數(shù)的線上業(yè)務都存在業(yè)務高峰和低峰，在集群中使用自動伸縮的最重要目的之一就是讓自動伸縮幫助集群容量曲線盡量貼合業(yè)務壓力曲線。您可以根據(jù)需要選定時間范圍，然后通過上文節(jié)點詳情中的數(shù)據(jù)，與業(yè)務壓力做比較，看看波峰波谷的差異是否符合預期并找出優(yōu)化點。
問題排查
存在狀態(tài)為
pending的Pod，但是沒有節(jié)點彈出。則根據(jù)上文集群可擴容的數(shù)據(jù)，判斷集群是否可以擴容。如果這項數(shù)據(jù)顯示不可擴容，則cluster-autoscaler不會執(zhí)行任何擴容活動，排查結束，需要解決集群健康問題。
如果集群可擴容，則通過上文彈性活動列表搜索Pod Name和NotTriggerScaleUp事件，通過
reason字段查看具體沒有觸發(fā)擴容的原因。
定位Pod觸發(fā)擴容的時間：通過上文彈性活動列表搜索Pod Name和TriggeredScaleUp事件，查看具體觸發(fā)擴容的時間。
擴容失敗原因：通過上文彈性活動列表搜索FailedToScaleUpGroup事件，查看
reason可定位到cluster-autoscaler觸發(fā)的擴容活動失敗的具體原因。節(jié)點縮容時間點：通過上文彈性活動列表搜索Node Name和ScaleDown事件，查看具體觸發(fā)縮容的時間。
節(jié)點縮容失敗原因：通過上文彈性活動列表搜索Node Name和ScaleDownFailed事件，查看具體觸發(fā)縮容的原因。