獨享資源管理
獨享資源模式是一種資源使用方式。客戶開通默認使用共享的彈性算力。如果對生圖有較高時效性要求的客戶,需要使用獨享資源模式。獨享資源模式的后付費方式無需額外開通,當前目前使用白名單使用方式。若您需要使用獨占資源,可以通過表單申請,通過后即可使用。
配置完成后,會默認根據您資源的用量來收費。具體計費標準參考獨享模式計量計費規則。
新建獨享資源配置
點擊左上角的新建獨享資源配置,進入資源配置編輯頁面。
輸入配置名稱,添加資源組配置后點擊提交。
資源組配置
若是SD類型的服務請求,無論是否有Web UI,您都需要在SD Web UI資源組下添加配置。
若是ComfyUI類型的服務請求,您需要在ComfyUI資源組下添加配置。
點擊添加配置,彈出配置資源組的表單。
基礎信息填寫
填寫資源組名稱,選擇目標獨享實例,右側會展示當前目標實例數量下預留一小時的費用。
按時調整獨享
若是需要在固定時間內調整獨享實例數量,您可以開啟按時調整獨享實例數量的功能。
策略名稱:您可以后續根據名稱來查找/更新策略。
目標獨享實例數量:命中策略期間,會按照這里設置的數量進行預留,而不是之前設置的目標獨享數量。
指定時間:指的是一天24小時中具體的生效時間區間,時區為北京時間。
指定日期:指每個月的幾號,搭配指定時間一起使用。
指定星期:指每周幾,搭配指定時間一起使用。
生效時間:指策略的生效日期區間。
點擊開啟后,策略配置生效。支持配置多條策略,時間策略間使用或關系。即只要有一個時間策略滿足條件,就會使用對應時間策略配置的獨享模式數量。若同時命中多條策略,則會取最大目標獨享實例數量作為預留數量。
按資源水位獨享
若是需要根據當前資源使用率來自動的調整獨享實例的數量,您可以開啟按資源水位獨享策略。
策略名稱:您可以后續根據名稱來查找/更新策略。
最小預留實例數:命中策略期間,按照水位縮容的時候不會低于這個實例數。
最大預留實例數:命中策略期間,按照水位擴容的時候不會高于這個實例數。
配置觸發利用率閾值:指當資源利用率高于這個閾值,會自動按照最大預留實例數擴容。擴容后,高峰期過后,若利用率低于這個閾值,則會自動縮容,縮容至最小預留實例數以及之資源組默認實例數的大者。
高級設置支持設置生效時間:
指定時間:指的是一天24小時中具體的生效時間區間,時區為北京時間。
指定日期:指每個月的幾號,搭配指定時間一起使用。
指定星期:指每周幾,搭配指定時間一起使用。
生效時間:指策略的生效日期區間。
點擊開啟后,策略配置生效。支持配置多條策略,資源水位策略間使用或關系。即只要有一個資源水位策略滿足條件,就會使用對應資源水位策略配置的獨享模式數量。若同時命中多條策略,則會取最大目標獨享實例數量作為預留數量。
請求路由配置
在這里默認均為智能路由模式,即計算單元會采用熱度優先模式,保障高熱度模型有常駐計算單元。
資源利用率上限設置
默認為空,即不存在資源利用率上限。當整個資源組的資源利用率高于設置的利用率時,如果任務提交沒有包含共享池,會直接報錯,無法提交;如果包含共享池時,會將請求路由至共享資源池內計算。更多信息,請參見多資源配置。
資源組的開啟/關閉
新建完資源組信息后,可以選擇開啟/關閉。在關閉狀態的資源組,即使開啟了整個資源配置,也無法被調用。只有當資源配置和資源組均處于開啟狀態下,才會按照設置預留。
獨享資源配置管理
查看已有的獨享資源配置;
配置ID:即為接口調用時傳入的資源配置ID。
配置名稱:新建配置時設置的名稱
配置狀態:已啟用,代表這份配置中的資源池已經處于預留狀態。已關閉,代表您這份配置中的資源池未處于預留狀態。
目標預留實例數:指在這份配置中,目標獨享的實例數。
當前預留實例數:指在這份配置生效的情況下,當前已經預留到的實例數。
操作:
您可以點擊配置詳情查看配置詳情
若在啟用配置的情況下點擊查看執行情況來查看預留的數據以及關閉配置,關閉配置后,之前預留的資源會立即釋放。
若在配置關閉的情況下可以點擊開啟配置,點擊后需要5-10分鐘左右來加載預留資源。
僅在配置關閉的狀態才可以刪除配置
獨享資源配置信息查看
點擊查看配置詳情,會進入到配置的信息瀏覽頁面:
在這里可以看到資源組的概況,點擊查看配置詳情,可以看到具體資源組的配置信息:
點擊右上角的編輯,即可進入資源配置的編輯模式,和新建配置時的字段信息類似:
在編輯模式下,可以調整資源組的配置、生效狀態以及刪除資源組。
點擊提交后,即可生效修改的內容。
獨享資源配置執行情況查看
方法一:您可以在配置管理列表頁點擊查看執行情況查看當前資源的預留與使用情況
方法二:您可以直接在配置詳情中點擊查看執行情況查看
點擊后可以看到如下信息:
在上面的tab選擇為應用分類,對應SD Web UI資源組以及Comfy UI資源組的實例;
下面是點擊不同資源組名稱可以切換查看不同資源組的執行情況。
獨享目標數:即當前時間下預計需要達到的預留實例數
獨享開始時間:本次獨享開始預留的時間,即最近一次獨享實例不為0的時間
預計獨享結束時間:在命中時間策略的情況下,會展示時間;其他時間則不會展示;
當前獨享數:即當前預留到的實例數量
完成率:即當前獨享數/獨享目標數
當前資源利用率:即當前資源組中的資源使用情況。例如有10個預留實例,當前有5個執行中的任務,則為50%;若當前有10個執行中任務再加上10個排隊任務,則為200%。
最下面的圖表展示預留實例的變化情況
獨享資源配置案例
案例1
客戶A需要在7月份每個周四晚上的7點到10點保障生圖時效,預估需要獨享實例50個。平時的量級較小,且不太需要保障生圖時效。
推薦配置方案
新增一個資源配置「7月專用資源配置」用于7月份的每周四晚上7點到10點保障使用,其余時間則使用共享資源池配置。
配置平時獨享實例數量。由于平時不需要用,將資源配置的目標獨享實例數量設置為0,平時不會產生獨享資源費用。
開啟按時調整獨享功能。由于需要共享實例50個,因此目標獨享實例數量需要設置為50。預留50個實例需要一定的準備時間,提前40分鐘開始預留。因此在指定時間設置下午6點20分開始預留,結束時間設置為晚上10點。指定星期為每周四,生效時間為7月1號至7月31號。
調用傳入此資源池配置ID即可。
案例2
客戶B平時就有一定的用量,日常需要預留5張保障體驗。同時,在周三的下午3點到5點和周五的晚上的7點到10點都有額外的生圖時效保障需求。客戶期望能基于負載水位動態擴展獨享資源池,并且能在獨享資源池處于高負載排隊時,回退到共享資源池。
推薦配置方案
在包月模式中下單付費5個資源實例,會自動生成一個獨享資源配置。記錄下配置ID。
新增一個資源配置「專用資源配置」額外用于周三的下午3點到5點和周五的晚上的7點到10點的保障使用。
將資源配置的目標獨享實例數量設置為0。
開啟按時調整獨享功能。由于基礎需要共享實例20個,這里的目標獨享實例數量設置為20。預留20個實例需要一定的準備時間,提前20分鐘開始預留。設置兩條時間策略,設置的時間為下午2點40到5點和周五的6點40到10點。
配置按照水位調整的策略。當資源利用率到80%的時候,自動再擴最多10個實例處理突發任務。
配置資源利用率上限。將資源利用率上限設置為500%,表示如果當前實例任務排隊超過5個,會自動轉到共享資源池。
調用傳入包月資源池ID、「專用資源配置」ID以及共享資源池ID(default)。