實例類型及使用模式
函數(shù)計算的CPU實例和GPU實例均支持按量模式和預留模式。按量模式根據(jù)請求時長計費,可以結合并發(fā)度設置提高實例的資源利用率。預留模式則是從實例啟動完成開始計費,到實例釋放為止,可用于解決冷啟動問題。本文為您介紹兩類實例的實例模式、計費方式及實例規(guī)格。
實例類型
CPU實例:函數(shù)計算的基本實例。適用于突發(fā)流量和計算密集等各種場景。
GPU實例:提供Turing架構的GPU實例。主要適用于音視頻、AI人工智能和圖像處理等場景。在不同的場景中,將不同的業(yè)務負載下沉至GPU硬件加速,從而提升業(yè)務處理效率。
重要GPU實例僅支持通過容器鏡像方式部署。
使用GPU實例過程中,為了確保您的業(yè)務正常進行,請加入釘釘用戶群(釘釘群號:64970014484),并提供以下信息。
組織名稱,例如您所在的公司名稱。
您的阿里云賬號ID。
您使用GPU實例的地域,例如華南1(深圳)。
聯(lián)系方式,例如您的手機號、郵箱或釘釘賬號等。
實例模式
CPU實例和GPU實例均支持兩種實例模式:按量模式和預留模式。兩種實例模式說明如下。
按量模式
基本概念
按量模式是指函數(shù)實例的分配和釋放完全由函數(shù)計算系統(tǒng)負責。函數(shù)計算會根據(jù)函數(shù)的調(diào)用量自動進行實例擴縮容,在調(diào)用增加時創(chuàng)建實例,在請求減少后銷毀實例。整個過程中,通過請求自動觸發(fā)實例創(chuàng)建。如果實例在一段時間內(nèi)(一般為3~5分鐘)不處理請求,會自動銷毀。首次發(fā)起調(diào)用時,需要等待實例冷啟動。
單個阿里云賬號(主賬號)在單個地域內(nèi)總實例數(shù)默認限制為100,實際數(shù)值以配額中心為準,如果您需要提高該限制,請前往配額中心申請。
計費方式
在按量模式下,函數(shù)執(zhí)行時長的計量從請求執(zhí)行函數(shù)開始,到請求執(zhí)行完畢結束。按量模式下,同一個實例同一時間可以執(zhí)行一個請求,也可以并發(fā)執(zhí)行多個請求。更多信息,請參見創(chuàng)建Web函數(shù)。
在沒有函數(shù)調(diào)用請求時不分配實例,所以不會產(chǎn)生費用。只有發(fā)生函數(shù)調(diào)用時才會產(chǎn)生費用。關于具體的產(chǎn)品定價和計費,請參見計費概述。
如果您希望提高實例資源利用率,建議根據(jù)業(yè)務對資源的訴求,配置您的實例為單實例多并發(fā)。在這種方案下,當多個任務同時在一個實例上執(zhí)行時,CPU或者內(nèi)存將被搶占式共享,有效提高資源利用率。
單實例單并發(fā)執(zhí)行時長
按量模式下,一個實例執(zhí)行一個請求時,執(zhí)行時長的計量是從請求到達實例開始,到請求執(zhí)行完畢為止。
單實例多并發(fā)執(zhí)行時長
按量模式下,一個實例并發(fā)執(zhí)行多個請求時,執(zhí)行時長的計量是從第一個請求到達實例開始,到最后一個請求執(zhí)行完畢為止。并發(fā)執(zhí)行請求時,可以復用資源節(jié)省費用。
預留模式
基本概念
預留模式是將函數(shù)實例的分配和釋放交由您管理,當配置預留函數(shù)實例后,預留的函數(shù)實例將會常駐,直到您主動將其釋放。函數(shù)計算會優(yōu)先將函數(shù)調(diào)用請求調(diào)度至預留的函數(shù)實例,當函數(shù)請求的并發(fā)超過預留的函數(shù)實例處理能力時,超出部分的請求被轉發(fā)至按量模式的實例。關于刪除預留模式的實例,請參見修改或刪除預留實例并發(fā)。
如果您希望解決冷啟動問題,預留模式是最佳方案。建議您根據(jù)業(yè)務資源預算選擇固定數(shù)量預留、根據(jù)波峰波谷特性選擇指定時間段預留或者按照水位閾值選擇自動伸縮方案。預留后,實例的平均冷啟動時延將明顯降低。
計費方式
活躍狀態(tài)實例
通常情況下,正在處理請求的實例屬于活躍狀態(tài)實例,而在預留模式下,由于實例常駐,如果沒有開啟閑置模式,這些預留實例也屬于活躍狀態(tài)實例,并且這些實例的計費從實例成功創(chuàng)建后開始,一直到您主動將其釋放為止。所以即使預留的函數(shù)實例未執(zhí)行任何請求,只要沒有釋放函數(shù)實例,您都需要為預留的函數(shù)實例按照活躍狀態(tài)的價格付費。
閑置狀態(tài)實例
在預留模式下,開啟閑置模式后,如果實例上沒有正在執(zhí)行任何請求,這部分實例屬于閑置狀態(tài)實例。閑置模式下,預留實例在未處理任何請求時,函數(shù)計算會凍結其GPU資源或vCPU資源,將實例轉為閑置狀態(tài),閑置狀態(tài)實例的費用遠遠小于活躍狀態(tài)實例,費用比例可參見CU轉換系數(shù)。
如下圖所示,假設您的實例已啟用閑置模式,預留模式的實例的計費從實例成功創(chuàng)建后開始,一直到您主動將其釋放為止。當預留的函數(shù)實例未執(zhí)行任何請求,實例進入閑置狀態(tài),開始處理請求直到請求結束為活躍狀態(tài),這段時間內(nèi)實例使用總費用為
(閑置資源使用總量 x 閑置資源使用單價)+(活躍資源使用總量 x 活躍資源使用單價)
。說明函數(shù)計算3.0默認開啟CPU預留實例的閑置模式,無需您手動操作。預留實例在未處理任何請求時,系統(tǒng)將凍結其vCPU資源,這將為您節(jié)省vCPU資源使用費用。閑置模式同樣可以消除冷啟動,確保調(diào)用請求到來時,迅速喚醒實例處理請求。
實例規(guī)格
CPU實例
CPU實例包含以下實例規(guī)格,您可以根據(jù)業(yè)務需求選擇不同配置的實例。
vCPU(核)
內(nèi)存規(guī)格(MB)
代碼包大小上限(GB)
函數(shù)執(zhí)行時長上限(s)
磁盤大小上限(GB)
帶寬能力上限(Gbps)
0.05~16
取值說明:必須為0.05的倍數(shù)。
128~32768
取值說明:必須為64的倍數(shù)。
10
86400
10
取值說明:
512 MB,默認值。
10 GB。
5
說明vCPU大?。▎挝粸楹耍┡c內(nèi)存大?。▎挝粸镚B)的比例必須設置在1∶1到1∶4之間。
GPU實例
GPU實例包含以下實例規(guī)格,您可以根據(jù)業(yè)務需求選擇不同配置的實例。
說明fc.gpu.tesla.1實例規(guī)格的性能與NVIDIA T4性能基本一致。
實例規(guī)格
整卡顯存(GB)
整卡算力(TFLOPS)
可選切分規(guī)格
是否支持按量模式
是否支持普通預留模式
是否支持閑置預留模式
FP16算力
FP32算力
vGPU顯存(MB)
vGPU算力(卡)
vCPU(核)
內(nèi)存規(guī)格(MB)
fc.gpu.tesla.1
16
65
8
1024~16384(對應1 GB~16 GB)
取值說明:必須為1024 MB的倍數(shù)。
取值為vGPU顯存(GB)/16。例如,配置vGPU顯存為5 GB,則vGPU最高可得5/16張卡算力。
說明:由函數(shù)計算系統(tǒng)自動分配,無需手動配置。
取值為0.05~(vGPU顯存(GB)/2)。
取值說明:必須為0.05的倍數(shù)。具體信息,請參見GPU規(guī)格配置表。
取值為128~(vGPU顯存(GB)*2048)。
取值說明:必須為64的倍數(shù)。具體信息,請參見GPU規(guī)格配置表。
Y
Y
Y
fc.gpu.ada.1
48
119
60
49152(對應48 GB)
取值說明:僅支持48 GB顯存規(guī)格。
默認分配整卡算力。
說明:由函數(shù)計算系統(tǒng)自動分配,無需手動配置。
取值為8。
取值說明:僅支持8核vCPU規(guī)格。
取值為65536。
取值說明:僅支持64 GB內(nèi)存規(guī)格。
Y
Y
Y
函數(shù)計算GPU實例同時支持以下資源規(guī)格。
鏡像大?。℅B)
函數(shù)執(zhí)行時長上限(s)
磁盤大小上限(GB)
帶寬能力上限(Gbps)
ACR企業(yè)版(標準版):15
ACR企業(yè)版(高級版):15
ACR企業(yè)版(基礎版):15
ACR個人版(免費):15
86400
10
5
說明實例規(guī)格設置為g1等同于設置為fc.gpu.tesla.1。
目前支持Tesla系列GPU實例的地域包括華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、日本(東京)、美國(弗吉尼亞)和新加坡。
目前支持Ada系列GPU實例的地域包括華北2(北京)、華東1(杭州)、華東2(上海)、華南1(深圳)、新加坡和美國(弗吉尼亞)。
GPU規(guī)格配置表
vGPU顯存(MB) | vCPU(核) | 內(nèi)存規(guī)格上限(GB) | 內(nèi)存規(guī)格(MB) |
1024 | 0.05~0.5 | 2 | 128~2048 |
2048 | 0.05~1 | 4 | 128~4096 |
3072 | 0.05~1.5 | 6 | 128~6144 |
4096 | 0.05~2 | 8 | 128~8192 |
5120 | 0.05~2.5 | 10 | 128~10240 |
6144 | 0.05~3 | 12 | 128~12288 |
7168 | 0.05~3.5 | 14 | 128~14336 |
8192 | 0.05~4 | 16 | 128~16384 |
9216 | 0.05~4.5 | 18 | 128~18432 |
10240 | 0.05~5 | 20 | 128~20480 |
11264 | 0.05~5.5 | 22 | 128~22528 |
12288 | 0.05~6 | 24 | 128~24576 |
13312 | 0.05~6.5 | 26 | 128~26624 |
14336 | 0.05~7 | 28 | 128~28672 |
15360 | 0.05~7.5 | 30 | 128~30720 |
16384 | 0.05~8 | 32 | 128~32768 |
相關文檔
配置彈性伸縮規(guī)則時可以開啟閑置模式,具體操作請參見修改或刪除預留實例并發(fā)。
關于函數(shù)計算的計費方式以及計費項等更多信息,請參見計費概述。
使用API創(chuàng)建函數(shù)時可以通過
instanceType
參數(shù)指定實例類型,請參見CreateFunction - 創(chuàng)建函數(shù)。關于如何通過控制臺指定期望的實例類型和實例規(guī)格的具體操作,請參見創(chuàng)建Web函數(shù)。