Job負責批量處理短暫的一次性任務(short-lived one-off tasks),即僅執行一次的任務,它保證批處理任務的一個或多個Pod成功結束。您可以通過容器服務控制臺創建Job類型的應用。本文介紹如何創建一個Job類型的busybox應用,并演示該任務(Job)應用的特性。
前提條件
已創建Kubernetes集群。具體操作,請參見創建Kubernetes托管版集群。
Job類型
Kubernetes支持以下幾種Job類型:
非并行Job:通常創建一個Pod直至其成功結束。
固定結束次數的Job:設置
.spec.completions
,創建多個Pod,直到.spec.completions
個Pod成功結束。帶有工作隊列的并行Job:設置
.spec.Parallelism
但不設置.spec.completions
,當所有Pod結束并且至少一個成功時,Job就認為是成功。固定結束次數的并行Job:同時設置
.spec.completions
和.spec.Parallelism
,多個Pod同時處理工作隊列。
根據.spec.completions
和.spec.Parallelism
的設置,可以將Job劃分為以下幾種模式:
本例中創建的任務屬于固定結束次數的并行Job。
Job類型 | 使用示例 | 行為 | Completions | Parallelism |
一次性Job | 數據庫遷移 | 創建一個Pod直至其成功結束。 | 1 | 1 |
固定結束次數的Job | 處理工作隊列的Pod | 依次創建一個Pod運行直至Completions個成功結束。 | 2+ | 1 |
固定結束次數的并行Job | 多個Pod同時處理工作隊列 | 依次創建多個Pod運行直至Completions個成功結束。 | 2+ | 2+ |
并行Job | 多個Pod同時處理工作隊列 | 創建一個或多個Pod直至有一個成功結束。 | 1 | 2+ |
操作步驟
步驟一:配置應用基本信息
登錄容器服務管理控制臺,在左側導航欄選擇集群。
在集群列表頁面,單擊目標集群名稱,然后在左側導航欄,選擇 。
在任務頁面,單擊使用鏡像創建。
在應用基本信息配置向導頁面,設置應用的基本信息。
配置項
描述
應用名稱
設置應用的名稱。例如busybox。
類型
設置類型為任務(Job)。
標簽
為該應用添加一個標簽,標識該應用。
注解
為該應用添加一個注解(Annotation)。
時區同步
容器與節點是否使用相同的時區。
單擊下一步,進入容器配置向導頁面。
步驟二:配置容器
在容器配置向導頁面,配置容器的鏡像、資源、端口、環境變量、健康檢查、生命周期、數據卷和日志。
在容器1頁簽右側,單擊添加容器可以為應用的Pod設置多個容器。
設置容器配置。
在基本配置區域,完成容器的基本配置。
參數
描述
鏡像名稱
選擇鏡像:
您可以單擊選擇鏡像,選擇所需的鏡像。支持選擇以下三種類型的鏡像。
容器鏡像服務企業版:可以選擇托管在容器鏡像服務ACR中的企業版鏡像。需要選擇鏡像所屬地域,以及鏡像服務實例。關于ACR的更多信息,請參見什么是容器鏡像服務ACR。
容器鏡像服務個人版:可以選擇托管在容器鏡像服務ACR中的個人版鏡像。需要選擇鏡像所屬地域,以及鏡像服務實例。
制品中心:包含應用容器化基礎OS鏡像、基礎語言鏡像、AI/大數據相關鏡像,本示例以制品中心的Nginx鏡像為例說明。關于制品中心的更多信息,請參見制品中心。
您還可以填寫私有鏡像。填寫的格式為
domainname/namespace/imagename:tag
。選擇鏡像拉取策略
ACK支持以下三種鏡像拉取策略(imagePullPolicy):
優先使用本地鏡像(IfNotPresent):如果本地有該鏡像(之前拉取過該鏡像至宿主機中),則使用本地鏡像,本地不存在時拉取鏡像。
總是拉取鏡像(Always):表示每次部署或擴容都會從容器鏡像服務重新拉取鏡像,而不會從本地拉取鏡像。
僅使用本地鏡像(Never):僅使用本地鏡像。
說明當您選中鏡像拉取策略時,默認不設置鏡像拉取策略。
設置鏡像密鑰
您可以單擊設置鏡像密鑰,為私有鏡像設置密鑰以確保安全。關于ACR企業版實例,您可以通過免密組件拉取鏡像。具體操作,請參見使用免密組件拉取容器鏡像。
資源限制
可指定該應用所能使用的資源上限,包括CPU、內存和Ephemeral-Storage三種資源,以防止占用過多資源。關于設置資源限制的更多信息,請參見資源畫像。
所需資源
為該應用預留資源額度,包括CPU、內存和Ephemeral-Storage三種資源,即容器獨占這些資源,防止因資源不足而被其他服務或進程爭奪資源,導致應用不可用。關于設置所需資源的更多信息,請參見資源畫像。
容器啟動項
stdin:表示為該容器開啟標準輸入。
tty:表示為該容器分配一個虛擬終端,以便于向容器發送信號。
通常這兩個選項是一起使用的,表示將終端(tty)綁定到容器的標準輸入(stdin)上。例如,一個交互式的程序從用戶獲取標準輸入,并顯示到終端中。
特權容器
選擇特權容器,則privileged=true,開啟特權模式。
不選擇特權容器,則privileged=false,關閉特權模式。
初始化容器
選擇該選項,表示創建一個初始化容器。
初始化容器提供了一種機制來阻塞或延遲應用容器的啟動,初始化容器執行成功后,Pod內的應用容器會并行啟動。例如,檢測依賴服務的可用性。初始化容器可以包括一些應用鏡像中不存在的實用工具和安裝腳本,用來初始化應用容器的運行環境,例如設置內核參數、生成配置文件。更多信息,請參見Init Containers。
可選:在端口設置區域,單擊新增設置容器的端口。
參數
描述
名稱
設置容器端口名稱。
容器端口
設置暴露的容器訪問端口或端口名,端口號必須介于1~65535。
協議
支持TCP和UDP。
可選:在環境變量區域,單擊新增設置環境變量。
支持通過鍵值對的形式為Pod配置環境變量。用于給Pod添加環境標志或傳遞配置等,具體操作,請參見Pod variable。
參數
描述
類型
設置環境變量的類型,支持以下類型:
自定義
配置項
保密字典
變量/變量引用
資源引用
配置項、保密字典支持對全部文件的引用,以保密字典為例。選擇保密字典類型,只選擇目標保密字典,則默認引用全部文件。
對應的YAML,也引用了整個密鑰(Secret)。
變量名稱
設置環境變量名稱。
變量/變量引用
設置變量引用的值。
可選:在健康檢查區域,根據需要開啟存活檢查、就緒檢查及啟動探測。
更多信息,請參見配置存活、就緒和啟動探測器。
參數
請求類型
配置說明
存活檢查(Liveness):用于檢測何時重啟容器。
就緒檢查(Readiness):確定容器是否已經就緒,且可以接受流量。
啟動探測(Startup Probes):用于檢測何時啟動容器。
說明僅Kubernetes集群1.18及之后版本支持啟動探測。
HTTP請求
即向容器發送一個HTTP GET請求,支持的參數包括:
協議:HTTP/HTTPS。
路徑:訪問HTTP Server的路徑。
端口:容器暴露的訪問端口或端口名,端口號必須介于1~65535。
Http頭:即HTTP Headers,HTTP請求中自定義的請求頭,HTTP允許重復的Header。支持鍵值對的配置方式。
延遲探測時間(秒):即initialDelaySeconds,容器啟動后第一次執行探測時需要等待多少秒,默認為3秒。
執行探測頻率(秒):即periodSeconds,指執行探測的時間間隔,默認為10秒,最小為1秒。
超時時間(秒):即timeoutSeconds,探測超時時間。默認1秒,最小1秒。
健康閾值:探測失敗后,最少連續探測成功多少次才被認定為成功。默認是1,最小值是1。對于存活檢查(liveness)必須是1。
不健康閾值:探測成功后,最少連續探測失敗多少次才被認定為失敗。默認是3,最小值是1。
TCP連接
即向容器發送一個TCP Socket,Kubelet將嘗試在指定端口上打開容器的套接字。 如果可以建立連接,容器被認為是健康的,如果不能就認為是失敗的。支持的參數包括:
端口:容器暴露的訪問端口或端口名,端口號必須介于1~65535。
延遲探測時間(秒):即initialDelaySeconds,容器啟動后第一次執行探測時需要等待多少秒,默認為15秒。
執行探測頻率(秒):即periodSeconds,指執行探測的時間間隔,默認為10秒,最小為1秒。
超時時間(秒):即timeoutSeconds,探測超時時間。默認1秒,最小1秒。
健康閾值:探測失敗后,最少連續探測成功多少次才被認定為成功。默認是1,最小值是1。對于存活檢查(liveness)必須是1。
不健康閾值:探測成功后,最少連續探測失敗多少次才被認定為失敗。默認是3,最小值是1。
命令行
通過在容器中執行探針檢測命令,來檢測容器的健康情況。支持的參數包括:
命令行:用于檢測容器健康情況的探測命令。
延遲探測時間(秒):即initialDelaySeconds,容器啟動后第一次執行探測時需要等待多少秒,默認為5秒。
執行探測頻率(秒):即periodSeconds,指執行探測的時間間隔,默認為10秒,最小為1秒。
超時時間(秒):即timeoutSeconds,探測超時時間。默認1秒,最小1秒。
健康閾值:探測失敗后,最少連續探測成功多少次才被認定為成功。默認是1,最小值是1。對于存活檢查(liveness)必須是1。
不健康閾值:探測成功后,最少連續探測失敗多少次才被認定為失敗。默認是3,最小值是1。
可選:在生命周期區域,設置容器的生命周期。
您可以為容器的生命周期配置啟動執行、啟動后處理和停止前處理。具體操作,請參見配置生命周期。
參數
描述
啟動執行
為容器設置預啟動命令和參數。
啟動后處理
為容器設置啟動后的命令。
停止前處理
為容器設置預結束命令。
可選:在數據卷區域,增加本地存儲或云存儲聲明PVC(Persistent Volume Claim)。
參數
描述
增加本地存儲
本地存儲:支持主機目錄(HostPath)、配置項(ConfigMap)、保密字典(Secret)和臨時目錄,將對應的掛載源掛載到容器路徑中。更多信息,請參見volumes。
增加云存儲聲明(PersistentVolumeClaim)
支持通過PVC掛載云存儲卷。在選擇目標掛載源前,您需要創建云存儲聲明。具體操作,請參見創建持久化存儲卷聲明。
本例中配置了一個云存儲類型的數據卷聲明disk-ssd,將其掛載到容器的/tmp路徑下。
可選:在日志配置區域,進行采集配置和自定義Tag設置。
重要請確保已部署Kubernetes集群,并且在此集群上已安裝日志插件。
配置項
描述
采集配置
日志庫:即在日志服務中生成一個對應的Logstore,用于存儲采集到的日志。
容器內日志路徑:支持Stdout和文本日志。
Stdout:表示采集容器的標準輸出日志。
文本日志:表示收集容器內指定路徑的日志,本例中表示收集/var/log/nginx下所有的文本日志,也支持通配符的方式。
自定義Tag
您還可以設置自定義Tag,設置Tag后,會將該Tag一起采集到容器的日志輸出中。自定義Tag可幫助您給容器日志打上Tag,方便進行日志統計和過濾等分析操作。
單擊下一步,進入高級配置向導頁面。
步驟三:完成高級配置
在任務設置區域,設置任務的運行狀態。
參數
說明
成功運行的Pod數
即設置
COMPLETIONS
的值,指定Job需要成功運行Pods的數量。默認值為1。并行運行的Pod數
即設置parallelism的值,指定Job在任一時刻應該并發運行Pod的數量。默認值為1。
超時時間
即設置activeDeadlineSeconds的值,指定Job可運行的時間期限,超過時間還未結束,系統將會嘗試進行終止。
重試次數
即設置backoffLimit的值,指定Job失敗后進行重試的次數。默認是6次,每次失敗后重試會有延遲時間,該時間是指數級增長,最長時間是6分鐘。
重啟策略
僅支持不重啟(Never)和失敗時(OnFailure)。
可選:在標簽和注釋區域,單擊添加設置容器組的標簽和注釋。
參數
描述
Pod標簽
為該Pod添加一個標簽,標識該應用。
Pod注解
為該Pod添加一個注解(Annotation)。
單擊創建。
步驟四:查看應用
創建成功后,默認進入創建完成頁面,會列出應用包含的對象。
您可以單擊查看應用詳情,進入任務詳情頁面。本例中按照任務定義,一次性并行創建2個Pod。
單擊工作負載 > 任務,在任務頁面,您可以看到該任務的完成時間。
說明若任務未創建完所有容器組,任務將不會顯示完成時間。
相關操作
Job創建完成后,您還可以進行以下操作:
在任務列表中,單擊目標任務名稱或目標任務操作列下的詳情,在任務詳情頁面,您可以伸縮、查看Yaml、刷新應用。
伸縮:在應用詳情頁面單擊伸縮,您可以修改所需容器組數量。
查看Yaml:在應用詳情頁面單擊查看Yaml,您可以更新、下載、另存為YAML文件。
刷新:在應用詳情頁面,單擊圖標,您可以刷新應用。
在任務列表目標任務名稱右側的操作列中,選擇
,即可刪除任務Job。