有狀態工作負載在運行中會保存數據或狀態。您可以通過容器服務控制臺創建StatefulSet類型的應用,滿足您快速創建有狀態應用的需求。本文介紹如何創建一個Nginx的有狀態應用并驗證該有狀態應用的數據持久化特性。
前提條件
使用鏡像創建有狀態的StatefulSet應用前,請確保您已經進行以下操作:
背景信息
StatefulSet包括以下特性:
場景 | 說明 |
Pod一致性 | 包含次序(啟動、停止次序)、網絡一致性。此一致性與Pod相關,與被調度到哪個節點無關。 |
穩定的持久化存儲 | 通過VolumeClaimTemplate為每個Pod創建一個PV。刪除或減少副本不會刪除相關的存儲卷。 |
穩定的網絡標志 | Pod的 |
穩定的次序 | 對于N個副本的StatefulSet,每個Pod都在[0,N)的范圍內分配一個唯一的數字序號。 |
創建有狀態StatefulSet應用
步驟一:配置應用基本信息
登錄容器服務管理控制臺,在左側導航欄選擇集群。
在集群列表頁面,單擊目標集群名稱,然后在左側導航欄,選擇 。
在有狀態頁面,單擊使用鏡像創建。
在應用基本信息頁簽中,設置應用的基本信息,其中類型選擇為有狀態(StatefulSet)。
配置項
描述
應用名稱
應用的名稱。
副本數量
即應用包含的Pod數量,默認數量為2。
類型
定義資源對象的類型,可選擇無狀態(Deployment)、有狀態(StatefulSet)、任務(Job)、定時任務(CronJob)、守護進程集(DaemonSet)。
標簽
為該應用添加一個標簽,標識該應用。
注解
為該應用添加一個注解(Annotation)。
時區同步
容器與節點是否使用相同的時區。
單擊下一步進入容器配置頁簽。
步驟二:配置容器
在容器配置向導頁面,配置容器的鏡像、資源、端口、環境變量、健康檢查、生命周期、數據卷和日志。
在容器1頁簽右側,單擊添加容器可以為應用的Pod設置多個容器。
在基本配置區域,完成容器的基本配置。
參數
描述
鏡像名稱
選擇鏡像
您可以單擊選擇鏡像,選擇所需的鏡像。支持選擇以下三種類型的鏡像。
容器鏡像服務企業版:可以選擇托管在容器鏡像服務ACR中的企業版鏡像。需要選擇鏡像所屬地域,以及鏡像服務實例。關于ACR的更多信息,請參見什么是容器鏡像服務ACR。
容器鏡像服務個人版:可以選擇托管在容器鏡像服務ACR中的個人版鏡像。需要選擇鏡像所屬地域,以及鏡像服務實例。
制品中心:包含應用容器化基礎OS鏡像、基礎語言鏡像、AI/大數據相關鏡像,本示例以制品中心的Nginx鏡像為例說明。關于制品中心的更多信息,請參見制品中心。
說明容器鏡像服務ACR提供制品中心便于您的基礎鏡像使用,這些基礎鏡像由阿里云或者龍蜥社區做版本更新及安全修復。如果您有額外的鏡像需求或者問題,請加入釘釘群33605007047進行咨詢。
您還可以填寫私有鏡像。填寫的格式為
domainname/namespace/imagename:tag
。選擇鏡像拉取策略
ACK支持以下三種鏡像拉取策略(imagePullPolicy):
優先使用本地鏡像(IfNotPresent):如果本地有該鏡像(之前拉取過該鏡像至宿主機中),則使用本地鏡像,本地不存在時拉取鏡像。
總是拉取鏡像(Always):表示每次部署或擴容都會從容器鏡像服務重新拉取鏡像,而不會從本地拉取鏡像。
僅使用本地鏡像(Never):僅使用本地鏡像。
說明當您選中鏡像拉取策略時,默認不設置鏡像拉取策略。
設置鏡像密鑰
您可以單擊設置鏡像密鑰,為私有鏡像設置密鑰以確保安全。
對于ACR個人版實例,您可以通過設置鏡像密鑰的方式拉取容器鏡像。設置密鑰的更多信息,請參見創建保密字典。
對于ACR企業版實例,您可以通過免密組件拉取鏡像。具體操作,請參見使用免密組件拉取容器鏡像。
資源限制
可指定該應用所能使用的資源上限,包括CPU、內存和Ephemeral-Storage三種資源,以防止占用過多資源。關于設置資源限制的更多信息,請參見資源畫像。
所需資源
為該應用預留資源額度,包括CPU、內存和Ephemeral-Storage三種資源,即容器獨占這些資源,防止因資源不足而被其他服務或進程爭奪資源,導致應用不可用。關于設置所需資源的更多信息,請參見資源畫像。
容器啟動項
stdin:表示為該容器開啟標準輸入。
tty:表示為該容器分配一個虛擬終端,以便于向容器發送信號。
通常這兩個選項是一起使用的,表示將終端(tty)綁定到容器的標準輸入(stdin)上。例如,一個交互式的程序從用戶獲取標準輸入,并顯示到終端中。
特權容器
選擇特權容器,則privileged=true,開啟特權模式。
不選擇特權容器,則privileged=false,關閉特權模式。
初始化容器
選中該選項,表示創建一個初始化容器。
初始化容器提供了一種機制來阻塞或延遲應用容器的啟動,初始化容器執行成功后,Pod內的應用容器會并行啟動。例如,檢測依賴服務的可用性。初始化容器可以包括一些應用鏡像中不存在的實用工具和安裝腳本,用來初始化應用容器的運行環境,例如設置內核參數、生成配置文件。更多信息,請參見Init Containers。
可選:在端口設置區域,單擊新增設置容器的端口。
參數
描述
名稱
設置容器端口名稱。
容器端口
設置暴露的容器訪問端口或端口名,端口號必須介于1~65535。
協議
支持TCP和UDP。
可選:在環境變量區域,單擊新增設置環境變量。
支持通過鍵值對的形式為Pod配置環境變量。用于給Pod添加環境標志或傳遞配置等,具體操作,請參見Pod variable。
參數
描述
類型
設置環境變量的類型,支持以下類型:
自定義
配置項
保密字典
變量/變量引用
資源引用
配置項、保密字典支持對全部文件的引用,以保密字典為例。選擇保密字典類型,只選擇目標保密字典,則默認引用全部文件。
對應的YAML,也引用了整個密鑰(Secret)。
選擇資源引用,主要使用
resourceFieldRef
參數,從Pod規范中引用容器已經聲明的資源值,然后將這些值作為環境變量傳遞給容器。對應的YAML如下:變量名稱
設置環境變量名稱。
變量/變量引用
設置變量引用的值。
可選:在健康檢查區域,根據需要開啟存活檢查、就緒檢查及啟動探測。
更多信息,請參見配置存活、就緒和啟動探測器。
參數
請求類型
配置說明
存活檢查(Liveness):用于檢測何時重啟容器。
就緒檢查(Readiness):確定容器是否已經就緒,且可以接受流量。
啟動探測(Startup Probes):用于檢測何時啟動容器。
說明僅Kubernetes集群1.18及之后版本支持啟動探測。
HTTP請求
即向容器發送一個HTTP GET請求,支持的參數包括:
協議:HTTP/HTTPS。
路徑:訪問HTTP Server的路徑。
端口:容器暴露的訪問端口或端口名,端口號必須介于1~65535。
Http頭:即HTTP Headers,HTTP請求中自定義的請求頭,HTTP允許重復的Header。支持鍵值對的配置方式。
延遲探測時間(秒):即initialDelaySeconds,容器啟動后第一次執行探測時需要等待多少秒,默認為3秒。
執行探測頻率(秒):即periodSeconds,指執行探測的時間間隔,默認為10秒,最小為1秒。
超時時間(秒):即timeoutSeconds,探測超時時間。默認1秒,最小1秒。
健康閾值:探測失敗后,最少連續探測成功多少次才被認定為成功。默認是1,最小值是1。對于存活檢查(liveness)必須是1。
不健康閾值:探測成功后,最少連續探測失敗多少次才被認定為失敗。默認是3,最小值是1。
TCP連接
即向容器發送一個TCP Socket,Kubelet將嘗試在指定端口上打開容器的套接字。如果可以建立連接,容器被認為是健康的,如果不能就認為是失敗的。支持的參數包括:
端口:容器暴露的訪問端口或端口名,端口號必須介于1~65535。
延遲探測時間(秒):即initialDelaySeconds,容器啟動后第一次執行探測時需要等待多少秒,默認為15秒。
執行探測頻率(秒):即periodSeconds,指執行探測的時間間隔,默認為10秒,最小為1秒。
超時時間(秒):即timeoutSeconds,探測超時時間。默認1秒,最小1秒。
健康閾值:探測失敗后,最少連續探測成功多少次才被認定為成功。默認是1,最小值是1。對于存活檢查(liveness)必須是1。
不健康閾值:探測成功后,最少連續探測失敗多少次才被認定為失敗。默認是3,最小值是1。
命令行
通過在容器中執行探針檢測命令,來檢測容器的健康情況。支持的參數包括:
命令行:用于檢測容器健康情況的探測命令。
延遲探測時間(秒):即initialDelaySeconds,容器啟動后第一次執行探測時需要等待多少秒,默認為5秒。
執行探測頻率(秒):即periodSeconds,指執行探測的時間間隔,默認為10秒,最小為1秒。
超時時間(秒):即timeoutSeconds,探測超時時間。默認1秒,最小1秒。
健康閾值:探測失敗后,最少連續探測成功多少次才被認定為成功。默認是1,最小值是1。對于存活檢查(liveness)必須是1。
不健康閾值:探測成功后,最少連續探測失敗多少次才被認定為失敗。默認是3,最小值是1。
可選:在生命周期區域,設置容器的生命周期。
您可以為容器的生命周期配置啟動執行、啟動后處理和停止前處理。具體操作,請參見配置生命周期。
參數
描述
啟動執行
為容器設置預啟動命令和參數。
啟動后處理
為容器設置啟動后的命令。
停止前處理
為容器設置預結束命令。
可選:在數據卷區域,增加本地存儲或云存儲聲明PVC(Persistent Volume Claim)。
參數
描述
增加本地存儲
本地存儲:支持主機目錄(HostPath)、配置項(ConfigMap)、保密字典(Secret)和臨時目錄,將對應的掛載源掛載到容器路徑中。更多信息,請參見volumes。
增加云存儲聲明(PersistentVolumeClaim)
支持通過PVC掛載云存儲卷。在選擇目標掛載源前,您需要創建云存儲聲明。具體操作,請參見創建持久化存儲卷聲明。
本例中配置了一個云存儲類型的數據卷聲明disk-ssd,將其掛載到容器的/tmp路徑下。
可選:在日志配置區域,進行采集配置和自定義Tag設置。
重要請確保已部署Kubernetes集群,并且在此集群上已安裝日志插件。
配置項
描述
采集配置
日志庫:即在日志服務中生成一個對應的Logstore,用于存儲采集到的日志。
容器內日志路徑:支持Stdout和文本日志。
Stdout:表示采集容器的標準輸出日志。
文本日志:表示收集容器內指定路徑的日志,本例中表示收集/var/log/nginx下所有的文本日志,也支持通配符的方式。
自定義Tag
您還可以設置自定義Tag,設置Tag后,會將該Tag一起采集到容器的日志輸出中。自定義Tag可幫助您給容器日志打上Tag,方便進行日志統計和過濾等分析操作。
單擊下一步,進入高級配置向導頁面。
步驟三:完成高級配置
在高級配置向導頁面中設置訪問、伸縮、調度和標簽注解。
在訪問設置區域,設置暴露后端Pod的方式。
說明針對應用的通信需求,您可靈活進行訪問設置:
內部應用:對于只在集群內部工作的應用,您可以在創建服務時,根據需要選擇虛擬集群IP或節點端口類型的服務,來進行內部通信。
外部應用:對于需要暴露到公網的應用,您可以采用兩種方式進行訪問設置。
創建負載均衡類型的服務:您可以在創建服務時,選擇負載均衡類型的服務。通過阿里云提供的負載均衡服務SLB(Server Load Balancer),使得該服務提供公網訪問能力。
創建路由(Ingress):通過創建路由(Ingress)提供公網訪問能力。更多信息,請參見Ingress。
您可以設置暴露后端Pod的方式。本例中選擇虛擬集群IP和路由(Ingress),構建一個公網可訪問的Nginx應用。
配置服務(Service):在服務(Service)右側,單擊創建設置服務的配置項。
配置項
描述
服務名稱
輸入Service(服務)的名稱。
服務類型
選擇Service類型,Service網絡支持以下模式,分別對接不同來源和類型的客戶端的訪問,包括:
虛擬集群IP(ClusterIP)主要服務于集群內部通信,僅當服務類型設置為虛擬的ClusterIP時,才支持服務實例之間的發現。通過使用無頭服務Headless Service,您可以與其他服務發現機制互動,而不必依賴Kubernetes默認提供的基于ClusterIP的服務發現和負載均衡。
說明新建NLB和使用已有NLB功能,目前處于灰度發布中。如需使用,請提交工單申請。
負載均衡提供了一種方法,通過集成阿里云負載均衡器CLB(Classic Load Balancer)及網絡型負載均衡NLB(Network Load Balancer),可以將集群內部應用對外暴露。相比于NodePort方式,能夠顯著提升應用的可用性和性能。支持如配置如下類型:
CLB:配置請參見傳統型負載均衡CLB。
NLB:配置請參見網絡型負載均衡NLB。
節點端口(NodePort)提供了一種便捷的方式,使得外部用戶可以通過節點的IP地址和指定的端口來訪問集群中的服務。通過訪問
<NodeIP>:<NodePort>
,用戶能夠連接到NodePort服務,但是實現負載均衡的配置則需要用戶自己手動完成。外部流量策略
您的服務類型為節點端口或負載均衡時,才能設置外部流量策略。關于外部流量策略的詳細介紹,請參見Service快速入門。
Local:流量只發給本節點的Pod。
Cluster:流量可以轉發到集群中其他節點上的Pod。
服務關聯
選擇服務要綁定的后端應用。若不進行關聯部署,則不會創建相關的Endpoints對象。關于服務關聯的詳細介紹,請參見services-without-selectors。
端口映射
添加服務端口(對應Service YAML文件中的
port
)和容器端口(對應Service YAML文件中的targetPort
),容器端口需要與后端的Pod中暴露的容器端口一致。注解
為該服務添加一個注解(Annotation),配置負載均衡的參數。更多參數,請參見通過Annotation配置傳統型負載均衡CLB和通過Annotation配置網絡型負載均衡NLB。
重要請勿復用集群的API Server的負載均衡實例,否則將導致集群訪問異常。
標簽
為該服務添加一個標簽,標識該服務。
配置路由(Ingress):在路由(Ingress)右側,單擊創建設置后端Pod的路由規則。
配置項
描述
名稱
輸入路由的名稱。
規則
路由規則是指授權入站到達集群服務的規則。更多信息,請參見配置路由信息。
域名:輸入Ingress域名。
路徑:指定服務訪問的URL路徑,默認為根路徑/,本例不作配置。每個路徑 (path)都關聯一個backend(服務),在阿里云SLB將流量轉發到backend之前,所有的入站請求都要先匹配域名和路徑。
服務:選擇服務的名稱和對應端口。
開啟TLS:配置安全的路由服務。具體操作,請參見Nginx Ingress高級用法。
灰度發布
開啟灰度發布開關。此處建議選擇社區版。
Ingress Class
自定義Ingress的類。
注解
您可以自定義注解名稱和值,也可以根據名稱選擇或搜索需要配置的注解。Ingress的注解請參見Annotations。
單擊+添加,可對Ingress無上限地添加注解。
標簽
標簽的作用是為Ingress添加對應的標簽,表示該Ingress的特點。
單擊+添加,可對Ingress無上限地添加標簽。
在訪問設置區域,您可以看到已創建的服務和路由,您可以單擊變更和刪除進行二次配置。
可選:在伸縮配置區域,配置是否開啟指標伸縮和定時伸縮,從而滿足應用在不同負載下的需求。
容器服務支持容器組的指標伸縮,即根據容器的CPU和內存資源占用情況自動調整容器組的數量。
說明若要啟用自動伸縮,您必須為容器設置所需資源,否則容器自動伸縮無法生效。
參數
描述
指標
支持CPU和內存,需要和設置的所需資源類型相同。
觸發條件
資源使用率的百分比,超過該使用量,容器開始擴容。
最大副本數
該負載類型可擴容的容器數量上限。
最小副本數
該負載類型可縮容的容器數量下限。
容器服務支持容器組的定時伸縮,即定時地對容器服務Kubernetes集群進行擴縮容。開啟定時伸縮前,需先安裝ack-kubernetes-cronhpa-controller組件。關于定時伸縮的詳細說明,請參見步驟二:創建CronHPA任務。
可選:在調度設置區域,設置升級方式、節點親和性、應用親和性和應用反親和性,更多信息,請參見Affinity and anti-affinity。
說明親和性調度依賴節點標簽和Pod標簽。您可以使用內置的標簽進行調度,也可以預先為節點、Pod配置相關的標簽。
配置項
描述
升級方式
升級方式包括Rollingupdate升級和OnDelete升級。更多信息,請參見StatefulSet。
節點親和性
設置節點親和性,通過Worker節點的Label標簽進行設置。
節點調度支持硬約束和軟約束(Required/Preferred),以及豐富的匹配表達式(In, NotIn, Exists, DoesNotExist. Gt, and Lt):
必須滿足,即硬約束,一定要滿足,對應requiredDuringSchedulingIgnoredDuringExecution,效果與
NodeSelector
相同。本例中Pod只能調度到具有對應標簽的Worker節點。您可以定義多條硬約束規則,但只需滿足其中一條。盡量滿足,即軟約束,不一定滿足,對應preferredDuringSchedulingIgnoredDuringExecution。調度會盡量調度Pod到具有對應標簽的Node節點。您還可以為軟約束規則設定權重,具體調度時,若存在多個符合條件的節點,權重最大的節點會被優先調度。您可以定義多條軟約束規則,但必須滿足全部約束,才會進行調度。
應用親和性
決定應用的Pod可以和哪些Pod部署在同一拓撲域。例如,對于相互通信的服務,可通過應用親和性調度,將其部署到同一拓撲域(如同一個主機)中,減少它們之間的網絡延遲。
根據節點上運行的Pod的標簽(Label)來進行調度,支持硬約束和軟約束,匹配的表達式有:
In, NotIn, Exists, DoesNotExist
。必須滿足,即硬約束,一定要滿足,對應requiredDuringSchedulingIgnoredDuringExecution,Pod的親和性調度必須要滿足后續定義的約束條件。
命名空間:該策略是依據Pod的Label進行調度,所以會受到命名空間的約束。
拓撲域:即topologyKey,指定調度時作用域,這是通過Node節點的標簽來實現的,例如指定為
kubernetes.io/hostname
,那就是以Node節點為區分范圍;如果指定為beta.kubernetes.io/os
,則以Node節點的操作系統類型來區分。選擇器:單擊選擇器右側的加號按鈕,您可以添加多條硬約束規則。
查看應用列表:單擊應用列表,彈出對話框,您可以在此查看各命名空間下的應用,并可以將應用的標簽導入到親和性配置頁面。
硬約束條件:設置已有應用的標簽、操作符和標簽值。本例中,表示將待創建的應用調度到該主機上,該主機運行的已有應用具有
app:nginx
標簽。
盡量滿足,即軟約束,不一定滿足,對應preferredDuringSchedulingIgnoredDuringExecution。Pod的親和性調度會盡量滿足后續定義的約束條件。對于軟約束規則,您可以配置每條規則的權重,其他配置規則與硬約束規則相同。
說明權重:設置一條軟約束規則的權重,介于1~100,通過算法計算滿足軟約束規則的節點的權重,將Pod調度到權重最大的節點上。
應用反親和性
決定應用的Pod不與哪些Pod部署在同一拓撲域。應用非親和性調度的場景包括:
將一個服務的Pod分散部署到不同的拓撲域(如不同主機)中,提高服務本身的穩定性。
給予Pod一個節點的獨占訪問權限來保證資源隔離,保證不會有其他Pod來分享節點資源。
把可能會相互影響的服務的Pod分散在不同的主機上。
說明應用非親和性調度的設置方式與親和性調度相同,但是相同的調度規則代表的意思不同,請根據使用場景進行選擇。
調度容忍
容忍被應用于Pod,允許這個Pod被調度到相應的污點上。
調度到虛擬節點
設置是否調度到虛擬節點,僅ACK集群Pro版支持,如果您的集群中沒有虛擬節點,則無法設置該配置項。關于如何將Pod調度至虛擬節點,請參見指定ECS和ECI的資源分配。
可選:在標簽和注釋區域,單擊添加設置容器組的標簽和注釋。
參數
描述
Pod標簽
為該Pod添加一個標簽,標識該應用。
Pod注解
為該Pod添加一個注解(Annotation)。
單擊創建。
步驟四:查看應用
創建成功后,默認進入創建完成頁面,會列出應用包含的對象,您可以單擊查看應用詳情進行查看。
單擊左上角返回列表,進入有狀態副本集列表頁面,查看創建的StatefulSet應用。
相關操作
查看有狀態工作負載詳情
登錄容器服務管理控制臺,在左側導航欄選擇集群。
在集群列表頁面,單擊目標集群名稱,然后在左側導航欄,選擇 。
在有狀態頁面頂部,選擇待查看應用的命名空間,即可查看對應命名空間下的有狀態工作負載。
在有狀態頁面,單擊目標應用名稱或目標應用操作列下的詳情,即可查看有狀態工作負載詳情。
在有狀態列表中單擊標簽字段,輸入對應應用標簽的key與value
,單擊確定后可過濾列表中的應用。
在應用詳情頁面,您可以編輯、伸縮、查看YAML、重新部署、刷新應用。
操作項 | 描述 |
編輯 | 在應用詳情頁面單擊編輯,您可以修改應用信息。 |
伸縮 | 在應用詳情頁面單擊伸縮,您可以修改所需容器組數量。 以創建的Nginx應用為例,驗證服務的伸縮性。
|
查看YAML | 在應用詳情頁面單擊查看Yaml,您可以更新、下載、另存為YAML文件。 |
重新部署 | 在應用詳情頁面單擊重新部署,您可以重新部署應用。 |
刷新 | 在應用詳情頁面單擊刷新,您可以刷新應用。 在左側導航欄單擊集群,單擊目標集群名稱或目標集群操作列下的詳情,選擇 ,在有狀態頁面單擊目標應用名稱或目標應用操作列下的詳情。說明 在無狀態列表中單擊標簽字段,輸入對應應用標簽的key與 在應用詳情頁面,您可以編輯、伸縮、查看YAML、重新部署、刷新應用。 |
編輯已創建的有狀態工作負載
在有狀態頁面的目標應用操作列下,單擊更多后,您可以進行以下操作:
操作項 | 描述 |
查看Yaml | 查看應用的YAML內容。 |
重新部署 | 重新部署應用。 |
節點親和性 | 為應用設置節點親和性。更多信息,請參見調度配置。 |
調度容忍 | 設置應用的容忍策略。更多信息,請參見調度配置。 |
日志 | 查看應用的日志信息。 |
刪除 | 刪除應用。 |
批量重新部署應用
在有狀態頁面下方,通過選擇批量重新部署可以實現多個應用的重新部署。
驗證StatefulSet應用的持久化存儲特性
連接到Master節點,執行以下命令,驗證持久化存儲特性。
執行以下命令在云盤中創建臨時文件。
kubectl exec nginx-1 -- ls /tmp #列出該目錄下的文件lost+found。 kubectl exec nginx-1 -- touch /tmp/statefulset #增加一個臨時文件statefulset。 kubectl exec nginx-1 -- ls /tmp
預期輸出:
lost+found statefulset
執行以下命令刪除Pod,驗證數據持久性。
kubectl delete pod nginx-1
預期輸出:
pod"nginx-1" deleted
過一段時間,待Pod自動重啟后,驗證數據持久性,證明StatefulSet應用的高可用性。
kubectl exec nginx-1 -- ls /tmp #數據持久化存儲lost+found。
預期輸出:
statefulset
相關文檔
關于StatefulSet應用的更多信息,請參見Kubernetes有狀態服務-StatefulSet使用最佳實踐。