開啟并配置彈性伸縮
當(dāng)您的業(yè)務(wù)量需求不斷波動(dòng)時(shí)，建議您開啟彈性伸縮功能并配置相應(yīng)的伸縮規(guī)則，以使Databricks數(shù)據(jù)洞察可按業(yè)務(wù)量波動(dòng)來增加和減少Task節(jié)點(diǎn)。
操作步驟
在頂部菜單欄處，根據(jù)實(shí)際情況選擇地域（Region）和資源組。
單擊上方的集群管理頁簽。
在集群管理頁面，單擊相應(yīng)集群所在行的詳情。
在詳情頁上方，單擊彈性伸縮。
單擊新建彈性伸縮機(jī)器組-->填寫機(jī)器組名稱-->點(diǎn)擊創(chuàng)建機(jī)器組。
7. 在彈性伸縮配置頁面，配置伸縮策略。
關(guān)鍵配置項(xiàng)說明如下：
配置項(xiàng) | 說明 |
|---|---|
規(guī)定時(shí)間伸縮 | 按時(shí)間觸發(fā)計(jì)算資源的擴(kuò)容和縮容。根據(jù)業(yè)務(wù)需求，如果能夠明確需要按照一定的時(shí)間周期來伸縮計(jì)算資源，建議您選擇此項(xiàng)。詳細(xì)配置說明請參見按時(shí)間伸縮。 |
規(guī)定負(fù)載伸縮 | 按集群負(fù)載觸發(fā)計(jì)算資源的擴(kuò)容和縮容。根據(jù)業(yè)務(wù)需求，如果需要對計(jì)算資源進(jìn)行伸縮的時(shí)間段較多，但需要根據(jù)YARN的特定指標(biāo)伸縮計(jì)算資源，建議您選擇此項(xiàng)。詳細(xì)配置說明請參見按負(fù)載伸縮。 |
最大實(shí)例數(shù) | 彈性伸縮組的Task節(jié)點(diǎn)上限。一旦達(dá)到上限，即使?jié)M足彈性伸縮的規(guī)則，也不會繼續(xù)執(zhí)行彈性伸縮。最大實(shí)例數(shù)的上限為500。 |
最小實(shí)例數(shù) | 彈性伸縮的Task節(jié)點(diǎn)下限。如果彈性伸縮規(guī)則中設(shè)置的增加或減少Task節(jié)點(diǎn)數(shù)小于此處設(shè)置的最小實(shí)例數(shù)，則在首次執(zhí)行時(shí)，集群會以最小節(jié)點(diǎn)數(shù)為準(zhǔn)進(jìn)行伸縮。 例如，您設(shè)置彈性擴(kuò)容規(guī)則為每天零點(diǎn)動(dòng)態(tài)添加1個(gè)節(jié)點(diǎn)，最小節(jié)點(diǎn)數(shù)為3，則系統(tǒng)在第一天的零點(diǎn)時(shí)會添加3個(gè)節(jié)點(diǎn)，以滿足最小節(jié)點(diǎn)數(shù)的要求。 |
優(yōu)雅下線 | 您可以設(shè)置超時(shí)時(shí)間，下線YARN上作業(yè)所在的Task節(jié)點(diǎn)。如果Task節(jié)點(diǎn)沒有運(yùn)行YARN上的作業(yè)或者作業(yè)運(yùn)行超出您設(shè)置的超時(shí)時(shí)間，則下線Task節(jié)點(diǎn)。超時(shí)時(shí)間最大值為3600秒。 說明 開啟優(yōu)雅下線時(shí)，請聯(lián)系DDI工作人員進(jìn)行集群配置支持。 |
8. 完成伸縮策略配置后，單擊下方的保存。
9. 單擊開啟彈性伸縮。
彈性伸縮配置完成后，后續(xù)觸發(fā)時(shí)，您可在彈性伸縮記錄中查看彈性伸縮的歷史執(zhí)行記錄以及每次執(zhí)行的詳細(xì)結(jié)果，詳情請參見查看彈性伸縮記錄。