Hologres計算組型實例支持按時間設置彈性計劃,從而根據業務流量峰值,自動完成計算資源伸縮,提升實例穩定性和資源利用率,節約成本。本文為您介紹如何使用分時彈性功能。
適用場景
假設您當前使用計算組實例的場景為:數據中臺團隊使用init warehouse完成大型ETL、大數據量離線導入、分鐘級近實時導入、實時數據導入,業務團隊A使用warehouse 1查詢數據,業務團隊B使用warehouse 2查詢數據。則分時彈性功能可能的適用場景如下:
分鐘級近實時導入和實時數據導入:仍使用計算組init warehouse執行。如果全天數據量穩定,則無需設置分時彈性。如果每天有一段時間(通常建議16小時內)有明顯的寫入流量高峰,則建議設置分時彈性計劃,在寫入流量高峰期彈出額外的彈性資源。
業務團隊查詢數據:仍分別使用不同的從計算組承載不同業務團隊的查詢請求,以保障負載隔離。如果業務團隊查詢請求量穩定,則無需設置分時彈性。如果每天的查詢請求量有明顯周期性變化,則建議設置分時彈性計劃,在查詢請求高峰期彈出額外的彈性資源。
大型ETL作業和大數據量離線導入:建議改用Serverless資源執行。Serverless Computing可以提供額外的計算資源,無需預留計算資源,顯著提升實例穩定性、減少OOM,且僅需為任務單獨付費。Serverless Computing詳情請參見Serverless Computing概述,使用方法請參見Serverless Computing使用指南。
使用限制
僅計算組型實例支持分時彈性功能,通用型實例和只讀從實例不支持。
Hologres從V2.2.21版本起支持分時彈性功能。
如下地域暫不支持分時彈性:華東 2 金融云、華北 2 阿里政務云1、華南 1 金融云、日本(東京)、馬來西亞(吉隆坡)、印度尼西亞(雅加達)。
分時彈性功能現處于公測期,請使用阿里云賬號填寫表單實時數倉Hologres分時彈性公測申請,申請試用。
注意事項
使用分時彈性功能所需權限:
需要使用阿里云賬號,或被授予了AliyunHologresWarehouseFullAccess權限的RAM用戶,該權限包含了Hologres管理控制臺的只讀權限和分時彈性功能的配置權限,授權方式請參見授予RAM用戶權限。
需要賬號擁有實例內部的Superuser權限,授權方式請參見授予RAM用戶實例的開發權限。
Hologres V2.2版本中,使用分時彈性功能對計算組執行定時擴容、縮容操作,計算組的查詢和寫入會中斷約15秒。Hologres V3.0版本起,計算組擴容期間,計算組的查詢和寫入不受影響,計算組的狀態仍會處于處理中。計算組縮容期間,查詢和寫入仍會中斷約15秒。
當對計算組配置了彈性計劃后:
不支持停止計算組或刪除計算組,不支持縮容計算組資源。
只支持通過Hologres管理控制臺操作擴容計算組資源,不支持手動執行
hg_alter_warehouse
命令擴容計算組資源。只支持通過Hologres管理控制臺新建計算組,不支持手動執行
hg_create_warehouse
命令新建計算組。
名詞解釋
實例級別的計算資源
實例預留資源:實例預留的計算資源總量,有包年包月和按量付費兩種付費模式。可以分為已分配和未分配資源。
實例已分配資源:實例預留資源中,已經分配給所有計算組的資源總量。
實例未分配資源:實例預留資源中,還沒有分配給計算組的資源量。
實例彈性資源:實例下的所有計算組,在預留資源之外,額外彈出的資源總量。
實例總計算資源:實例實際使用的資源總量,為實例預留資源和實例彈性資源總和。
計算組級別的計算資源
計算組預留資源:每個計算組從實例預留資源中分配到的資源量。
計算組彈性資源:每個計算組在預留資源之外,額外彈出的資源量。
計算組總計算資源:計算組實際使用的資源總量,為實例預留資源和實例彈性資源總和。
示例:如圖為某實例資源示例,資源詳情如下:
類別 | 資源詳情 |
實例 | 預留資源96 CU,其中64 CU已分配,32 CU未分配。 |
彈性資源32 CU。 | |
總計算資源96+32=128 CU。 | |
計算組init_warehouse | 預留資源32 CU,彈性資源16 CU,總計算資源48 CU。 |
計算組warehouse_2 | 預留資源32 CU,彈性資源16 CU,總計算資源48 CU。 |
價格說明
實例預留資源:即計算組實例獨享計算資源,仍按實例付費模式(包年包月/按量付費)付費。
實例彈性資源:包含分時彈性功能額外彈出的計算資源。計費公式為:
費用 = 實例實際彈出彈性資源量(CU*小時) * 資源單價
,具體資源單價請參見計費概述。每小時結算一次,系統將會推送賬單并從賬戶中自動扣除費用。說明實例彈性資源與實例未分配資源不相關。即使實例預留資源中仍有未分配資源,分時彈性功能仍會額外彈出計算資源,而不會使用實例未分配資源。
使用指南
計算組資源管理
進入計算組管理頁面。
登錄Hologres管理控制臺,在頂部菜單欄左側,選擇相應的地域。
在左側導航欄選擇實例列表,單擊目標實例ID進入實例詳情頁。
在實例詳情頁的左側導航欄單擊計算組管理。
查看計算組型實例的資源使用情況。
在計算組資源管理頁簽可查看計算組型實例的資源使用情況,包括實例預留資源(含實例已分配資源和未分配資源)、實例彈性資源。
管理計算組資源。
單擊新增計算組,在新增計算組對話框中輸入計算組名稱和計算組資源,創建新的計算組。
對狀態為正在運行的計算組,支持執行調整配置、重啟、停止及Rebalance操作。Rebalance詳情請參見均衡分片(Rebalance)。
說明不支持對實例的默認計算組init_warehouse執行停止操作。
計算組彈性計劃
查看彈性計劃時序圖
進入計算組管理頁面,單擊計算組彈性計劃頁簽。
從實例/計算組選擇下拉列表中選擇實例或某一計算組,可以查看彈性計劃時序圖。時序圖表明未來實例或計算組會按此計劃執行擴縮容操作,不表示過去的資源監控指標。
則保存后,計算組A的總計算資源會立即從96 CU縮容至64 CU。
配置計算組彈性計劃
在計算組彈性計劃頁簽中單擊目標計算組左側的,然后單擊增加時間段,配置每日生效時間段的起始和結束時間,并配置彈性計算資源量,單擊操作列的保存即可生效。
支持對已有彈性計劃執行編輯、刪除操作。
彈性計算資源量不支持超過預留計算資源量。
每個計算組最多支持5個彈性時間段。
刪除彈性計劃時,即使計算組資源未發生變化,計算組狀態也會變為處理中,此時計算組的讀寫不受影響。
保存計算組的彈性計劃時,如果計算組當前時刻設置的彈性資源發生變化,會同步生效,即Hologres會立即對計算組執行變配操作。示例如下:
示例1
假設當前時間為16:00,對計算組A(預留資源64 CU)新增彈性計劃:
生效時間段為15:00-18:00、彈性計算資源為32 CU,則保存后,計算組A的總計算資源會立即擴容至96 CU。
示例2
假設當前時間為16:00,修改計算組A(預留資源64 CU)的原有彈性計劃:
修改前:生效時間段為15:00-18:00、彈性計算資源為32 CU。
修改后:生效時間段為17:00-18:00、彈性計算資源32 CU。
則保存后,計算組A的總計算資源會立即從96 CU縮容至64 CU。
分時彈性監控
可以通過如下方式監控彈性計劃執行情況。
彈性計劃執行日志
進入計算組管理頁面,單擊彈性計劃執行日志頁簽。
選擇時間范圍,可查看過去的彈性計劃執行情況,包括執行時間、計算組、執行狀態、事件類型、預留計算資源和目標彈性計算資源。
監控指標
您可以在Hologres管控臺的監控指標中,查看Warehouse_timed_elastic_cores(Count)
(即實例分時彈性彈出Core數)指標,如有需要,可為其配置相應告警規則,詳情請參見Hologres管控臺的監控指標。
操作審計
Hologres管理控制臺上執行的編輯彈性計劃等操作,以及彈性計劃實際執行擴縮容操作,均會記錄到操作審計中。詳情請參見查詢事件日志。