彈性預(yù)留CU最佳實(shí)踐
本文通過(guò)典型場(chǎng)景案例介紹如何選擇并配置包年包月預(yù)留和彈性預(yù)留計(jì)算資源,為您提供降本增效的參考建議。
背景信息
MaxCompute原支持對(duì)包年包月預(yù)留計(jì)算資源進(jìn)行自定義Quota切分以及分時(shí)配置(一天最多可分為三個(gè)時(shí)段),配置不同Quota在不同時(shí)段占用不同的預(yù)留CU量,極大提高了計(jì)算資源的使用率。MaxCompute新推出彈性預(yù)留CU,通過(guò)合理的評(píng)估后購(gòu)買(mǎi)彈性預(yù)留CU結(jié)合全新的Quota計(jì)劃、時(shí)間計(jì)劃功能對(duì)計(jì)算資源進(jìn)行更靈活的擴(kuò)縮容,達(dá)到降本增效的目標(biāo)。
注意事項(xiàng)
本文所涉及的價(jià)格數(shù)據(jù)均為示例值,實(shí)際價(jià)格以產(chǎn)品購(gòu)買(mǎi)頁(yè)面為準(zhǔn)。
必須購(gòu)買(mǎi)了包年包月預(yù)留資源才可配置使用彈性預(yù)留CU,同時(shí)可配置的彈性預(yù)留CU最大值等于包年包月預(yù)留CU量,CU量至少為50CU且步長(zhǎng)為50。
彈性預(yù)留CU單價(jià)為
0.315元/CU/小時(shí)
,包年包月規(guī)格預(yù)留計(jì)算資源單價(jià)為150元/CU/月
,因此如果每日彈性預(yù)留CU使用超過(guò)16小時(shí)(16小時(shí)費(fèi)用為1CU*0.315元/CU/小時(shí)*16時(shí)*30天=151.2元/CU/月
),建議購(gòu)買(mǎi)包年包月預(yù)留CU。彈性預(yù)留CU是按時(shí)按量后付費(fèi),即擴(kuò)容成功開(kāi)始計(jì)時(shí),降配成功終止計(jì)時(shí)。持續(xù)超過(guò)一個(gè)小時(shí)會(huì)整點(diǎn)推送一次計(jì)量數(shù)據(jù),賬單為小時(shí)賬單會(huì)延遲3個(gè)小時(shí)出賬。
以下典型案例的評(píng)估方式比較簡(jiǎn)單,在實(shí)際業(yè)務(wù)實(shí)施過(guò)程中,您需要綜合多方面考慮,并實(shí)踐調(diào)試一段時(shí)間以達(dá)到最佳配置。
典型場(chǎng)景一:資源閑置
夜間是生產(chǎn)項(xiàng)目的計(jì)算高峰期且有業(yè)務(wù)線對(duì)數(shù)據(jù)有強(qiáng)時(shí)間要求必須要某個(gè)時(shí)間點(diǎn)前產(chǎn)出結(jié)果,而白天計(jì)算請(qǐng)求量較低,但是為了保障夜間強(qiáng)需求的業(yè)務(wù)需求,購(gòu)買(mǎi)MaxCompute包年包月規(guī)格時(shí)選擇了較高水位的CU量,即白天時(shí)計(jì)算資源出現(xiàn)了明顯的閑置情況。
此場(chǎng)景每日典型CU使用趨勢(shì)圖如下圖,購(gòu)買(mǎi)包年包月預(yù)留計(jì)算資源750CU,主要保障03:00-08:00
5個(gè)小時(shí)的計(jì)算高峰。月費(fèi)用原價(jià)為750CU*150元/CU/月=112500元/月
。
彈性預(yù)留CU方案:業(yè)務(wù)需求凌晨高峰點(diǎn)保障,次峰點(diǎn)也要保障。可以選擇購(gòu)買(mǎi)包年包月預(yù)留CU量為400
和5個(gè)小時(shí)(03:00-08:00)彈性預(yù)留CU量為350
的計(jì)算資源,趨勢(shì)圖如下所示。彈性預(yù)留CU方案的月費(fèi)用為400*150+350*0.315*5*30=76537.5元,對(duì)比不使用彈性預(yù)留CU方案每月可節(jié)省大約31%
的費(fèi)用。
使用彈性預(yù)留CU方案配置步驟如下。
登錄MaxCompute控制臺(tái),在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
Quota降配。
在Quota管理頁(yè)面目標(biāo)Quota的操作列,單擊圖標(biāo)后選擇降配。
在降配頁(yè)面,將計(jì)算資源單元調(diào)整為
400
CU。勾選服務(wù)協(xié)議后,單擊立即購(gòu)買(mǎi)。
新增Quota計(jì)劃。
在Quota管理頁(yè)面目標(biāo)Quota的操作列,單擊Quota配置。
在Quota配置頁(yè)面,單擊Quota計(jì)劃。
在Quota計(jì)劃頁(yè)簽,單擊添加計(jì)劃。
在新建Quota計(jì)劃對(duì)話框,自定義填寫(xiě)計(jì)劃名稱后,設(shè)置一級(jí)Quota的彈性預(yù)留CU為
350
。設(shè)置二級(jí)Quota的彈性預(yù)留CU,將一級(jí)Quota的彈性預(yù)留CU量分配給二級(jí)Quota。
單擊確定,完成新增Quota計(jì)劃。
編輯時(shí)間計(jì)劃。
在Quota配置頁(yè)面,單擊時(shí)間計(jì)劃。
在時(shí)間計(jì)劃頁(yè)簽,單擊編輯時(shí)間計(jì)劃。
在編輯時(shí)間計(jì)劃對(duì)話框,設(shè)置如下時(shí)間計(jì)劃。
開(kāi)始時(shí)間
啟用Quota計(jì)劃
00:00
Default
03:00
上一步驟新增的Quota計(jì)劃
08:00
Default
Default計(jì)劃的彈性預(yù)留CU量為
0
。單擊確定,完成時(shí)間計(jì)劃配置。
需要日常關(guān)注Quota資源消耗情況,進(jìn)行日常作業(yè)資源運(yùn)維,觀測(cè)業(yè)務(wù)情況隨時(shí)調(diào)整彈性預(yù)留CU量。
典型場(chǎng)景二:低成本高保障的提速需求
目前購(gòu)買(mǎi)的MaxCompute包年包月預(yù)留計(jì)算資源已經(jīng)做了二級(jí)Quota拆分以及分時(shí)和優(yōu)先級(jí)配置,CU資源全天資源使用率都很高, 業(yè)務(wù)方又對(duì)某些業(yè)務(wù)數(shù)據(jù)產(chǎn)出時(shí)間提出新要求,期望能提早產(chǎn)出以便可以發(fā)揮更多價(jià)值。
此場(chǎng)景每日典型CU使用趨勢(shì)圖如下圖,購(gòu)買(mǎi)包年包月預(yù)留計(jì)算資源750CU,全天資源使用率很高,水位基本達(dá)到100%,作業(yè)平均完成時(shí)長(zhǎng)較長(zhǎng)。有一份重要數(shù)據(jù)原來(lái)是7:00
點(diǎn)前產(chǎn)出,現(xiàn)在業(yè)務(wù)方提出要求需要在6:00
點(diǎn)前產(chǎn)出。此方案月費(fèi)用原價(jià)為750CU*150元/CU/月=112500元/月
。
彈性預(yù)留CU方案:從資源請(qǐng)求趨勢(shì)來(lái)看,在3:00-7:00
時(shí)資源請(qǐng)求量都超過(guò)了750CU,想要保障某些作業(yè)在6:00
前產(chǎn)出,則需要在這個(gè)高峰期擴(kuò)容。可以通過(guò)元數(shù)據(jù)(Information Schema)統(tǒng)計(jì)這份數(shù)據(jù)涉及作業(yè)消耗的CU分布做參考,上圖3:00
到8:00
資源使用水位全滿,因此統(tǒng)計(jì)3:00
到7:00
4個(gè)小時(shí)的CU量總和。假設(shè)4個(gè)小時(shí)共使用CU量為2000CU,即需要500CU跑4小時(shí),那么要提前1個(gè)小時(shí)完成作業(yè)每小時(shí)需要的CU量為2000/3= 667
CU,考慮到作業(yè)間有依賴可能前面請(qǐng)求少后面請(qǐng)求多可以額外加些余量,可先嘗試添加30%
即CU量為667*1.3=867
CU,最終需要3點(diǎn)開(kāi)始擴(kuò)容的CU量為867-500=367
。彈性預(yù)留CU量步長(zhǎng)為50,因此彈性預(yù)留CU量可以先取350CU,持續(xù)3個(gè)小時(shí),趨勢(shì)圖如下。
您需要注意的是本案例中,預(yù)測(cè)需新增彈性預(yù)留CU量的方式是按理想的平均CU消耗來(lái)評(píng)估,您在實(shí)際業(yè)務(wù)使用中,可以參考用此方式評(píng)估,但是需要注意觀察業(yè)務(wù)情況,按實(shí)際情況進(jìn)行調(diào)試。
如果為了保障這個(gè)業(yè)務(wù)購(gòu)買(mǎi)包年包月預(yù)留CU,則每月需多花費(fèi)350CU*150元/CU/月=52500元/月
;彈性預(yù)留CU的方案則每月只需多花費(fèi) 350CU*0.315元/CU/小時(shí)*3*30=9922.5元,即使用彈性預(yù)留CU方案每月可節(jié)省大約81%
的費(fèi)用。
使用彈性預(yù)留CU方案配置步驟如下。
此配置步驟假設(shè)沒(méi)有使用過(guò)分時(shí)配置或者使用過(guò)但是目前已重置。
登錄MaxCompute控制臺(tái),在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
新增Quota計(jì)劃。
在Quota管理頁(yè)面目標(biāo)Quota的操作列,單擊Quota配置。
在Quota配置頁(yè)面,單擊Quota計(jì)劃。
在Quota計(jì)劃頁(yè)簽,單擊添加計(jì)劃。
在新建Quota計(jì)劃對(duì)話框,自定義填寫(xiě)計(jì)劃名稱后,設(shè)置一級(jí)Quota的彈性預(yù)留CU為
350
。設(shè)置二級(jí)Quota的彈性預(yù)留CU,將一級(jí)Quota的彈性預(yù)留CU量分配給二級(jí)Quota。
單擊確定,完成新增Quota計(jì)劃。
編輯時(shí)間計(jì)劃。
在Quota配置頁(yè)面,單擊時(shí)間計(jì)劃。
在時(shí)間計(jì)劃頁(yè)簽,單擊編輯時(shí)間計(jì)劃。
在編輯時(shí)間計(jì)劃對(duì)話框,設(shè)置如下時(shí)間計(jì)劃。
開(kāi)始時(shí)間
啟用Quota計(jì)劃
00:00
Default
03:00
上一步驟新增的Quota計(jì)劃。
06:00
Default
Default計(jì)劃的彈性預(yù)留CU量為
0
。單擊確定,完成時(shí)間計(jì)劃配置。
需要日常關(guān)注Quota資源消耗情況,進(jìn)行日常作業(yè)資源運(yùn)維,觀測(cè)業(yè)務(wù)情況隨時(shí)調(diào)整彈性預(yù)留CU量。
典型場(chǎng)景三:非預(yù)留資源無(wú)法保障業(yè)務(wù)高峰期
購(gòu)買(mǎi)了MaxCompute包年包月預(yù)留計(jì)算資源和非預(yù)留計(jì)算資源,資源需求夜間高白天少, 非預(yù)留計(jì)算資源在作業(yè)請(qǐng)求量高峰期能搶占到的資源極少,通過(guò)非預(yù)留計(jì)算資源無(wú)法提升業(yè)務(wù)高峰時(shí)的資源滿足率從而提升業(yè)務(wù)產(chǎn)出速度。
此場(chǎng)景每日典型CU使用趨勢(shì)圖如下,購(gòu)買(mǎi)包年包月預(yù)留計(jì)算資源750CU,主要保障3:00
至8:00
5個(gè)小時(shí)的計(jì)算高峰,同時(shí)購(gòu)買(mǎi)非預(yù)留計(jì)算資源300CU想在高峰期能提速。月費(fèi)用原價(jià)為750CU*150元/CU/月+300CU*40元/月=124500元
。上圖中實(shí)際非預(yù)留計(jì)算資源在業(yè)務(wù)高峰期沒(méi)有能搶占到資源,而后期沒(méi)有請(qǐng)求,所以更用不上,無(wú)法達(dá)到預(yù)期。同時(shí)10:00
后長(zhǎng)時(shí)間大量資源閑置,實(shí)際使用量不超過(guò)400CU。
彈性預(yù)留CU方案:從資源使用趨勢(shì)看00:00
至3:00
3個(gè)小時(shí)750CU可以滿足業(yè)務(wù)需求但水位很高,3:00
至8:00
和9:00
至10:00
合計(jì)6個(gè)小時(shí)750CU不滿足業(yè)務(wù)需求,10:00
后400CU即可滿足業(yè)務(wù)需求。使用750CU的時(shí)間超過(guò)8個(gè)小時(shí),彈性預(yù)留CU每日超過(guò)8小時(shí)月費(fèi)用不劃算,因此方案如下。
包年包月預(yù)留計(jì)算資源保留購(gòu)買(mǎi)750CU。
非預(yù)留計(jì)算資源更換為彈性預(yù)留CU,并考慮在
3:00
至7:00
間4個(gè)小時(shí)進(jìn)行加速。通過(guò)非預(yù)留計(jì)算資源費(fèi)用進(jìn)行換算:非預(yù)留計(jì)算資源費(fèi)用為300*40=12000元/月
,則彈性預(yù)留CU量為12000/30/4/0.315=318
CU,彈性預(yù)留CU量步長(zhǎng)為50,則最終彈性預(yù)留CU量選擇300CU,既能在此時(shí)間段獲得獨(dú)享300CU,還能節(jié)省費(fèi)用。
彈性預(yù)留CU方案趨勢(shì)圖如下。如上圖在不增加預(yù)算的情況下,3:00
至7:00
間通過(guò)彈性預(yù)留CU提升了這個(gè)時(shí)段的資源滿足率從而提升作業(yè)速度,部分業(yè)務(wù)提前完成。
使用彈性預(yù)留CU方案配置步驟如下。
此配置步驟假設(shè)沒(méi)有使用過(guò)分時(shí)邏輯或者使用過(guò)但是目前已全部重新配置。
登錄MaxCompute控制臺(tái),在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
新增Quota計(jì)劃。
在Quota管理頁(yè)面目標(biāo)Quota的操作列,單擊Quota配置。
在Quota配置頁(yè)面,單擊Quota計(jì)劃。
在Quota計(jì)劃頁(yè)簽,單擊添加計(jì)劃。
在新建Quota計(jì)劃對(duì)話框,自定義填寫(xiě)計(jì)劃名稱后,設(shè)置一級(jí)Quota的彈性預(yù)留CU為
150
。設(shè)置二級(jí)Quota的彈性預(yù)留CU,將一級(jí)Quota的彈性預(yù)留CU量分配給二級(jí)Quota。
單擊確定,完成新增Quota計(jì)劃。
編輯時(shí)間計(jì)劃。
在Quota配置頁(yè)面,單擊時(shí)間計(jì)劃。
在時(shí)間計(jì)劃頁(yè)簽,單擊編輯時(shí)間計(jì)劃。
在編輯時(shí)間計(jì)劃對(duì)話框,設(shè)置如下時(shí)間計(jì)劃。
開(kāi)始時(shí)間
啟用Quota計(jì)劃
00:00
Default
03:00
上一步驟新增的Quota計(jì)劃。
07:00
Default
Default計(jì)劃的彈性預(yù)留CU量為
0
。單擊確定,完成時(shí)間計(jì)劃配置。
需要日常關(guān)注Quota資源消耗情況,進(jìn)行日常作業(yè)資源運(yùn)維,觀測(cè)業(yè)務(wù)情況隨時(shí)調(diào)整彈性預(yù)留CU量。