日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺(tái)
文檔
輸入文檔關(guān)鍵字查找
首頁(yè) 開源大數(shù)據(jù)平臺(tái) E-MapReduce EMR on ECS 操作指南 集群管理 集群運(yùn)維 管理節(jié)點(diǎn)組

管理節(jié)點(diǎn)組

更新時(shí)間：
產(chǎn)品詳情
我的收藏

本文為您介紹DataLake、DataFlow、OLAP、DataServing和Custom集群如何新增、修改和刪除節(jié)點(diǎn)組。

背景信息

節(jié)點(diǎn)組是您使用阿里云E-MapReduece服務(wù)對(duì)集群節(jié)點(diǎn)進(jìn)行管理的核心單元，通常是由相同規(guī)格的ECS實(shí)例組成。您可以通過(guò)對(duì)節(jié)點(diǎn)組進(jìn)行操作，批量管理一個(gè)組內(nèi)的節(jié)點(diǎn)。您也可以根據(jù)業(yè)務(wù)規(guī)劃，創(chuàng)建不同規(guī)格的實(shí)例組。例如，內(nèi)存型實(shí)例節(jié)點(diǎn)（vCore : vMem = 1 vCPU : 8 GiB）用于大數(shù)據(jù)離線處理，計(jì)算型實(shí)例（vCore : vMem =1 vCPU : 2 GiB）用于模型訓(xùn)練。

Hadoop、Data Science和EMR Studio集群節(jié)點(diǎn)組的管理操作，請(qǐng)參見管理節(jié)點(diǎn)組（Hadoop、Data Science和EMR Studio集群）。

使用限制

  • 本文操作僅適用于數(shù)據(jù)湖（DataLake）、實(shí)時(shí)數(shù)據(jù)流（DataFlow）、數(shù)據(jù)分析（OLAP）、數(shù)據(jù)服務(wù)（DataServing）和自定義集群（Custom）場(chǎng)景的集群。

  • 付費(fèi)類型為按量付費(fèi)或搶占式實(shí)例的Task節(jié)點(diǎn)組不支持配置升級(jí)操作。

    配置升級(jí)的具體操作，請(qǐng)參見升級(jí)節(jié)點(diǎn)配置。

新增節(jié)點(diǎn)組

  1. 進(jìn)入節(jié)點(diǎn)管理頁(yè)面。

    1. 登錄E-MapReduce控制臺(tái)。

    2. 在頂部菜單欄處，根據(jù)實(shí)際情況選擇地域和資源組。

    3. 單擊目標(biāo)集群操作列的節(jié)點(diǎn)管理。

  2. 在節(jié)點(diǎn)管理頁(yè)面，單擊新增節(jié)點(diǎn)組。

  3. 在新增節(jié)點(diǎn)組面板中，配置以下信息。

    參數(shù)

    描述

    節(jié)點(diǎn)組類型

    支持新增以下四種類型的節(jié)點(diǎn)組：

    • Core：核心類型節(jié)點(diǎn)組。

    • Task：計(jì)算類型節(jié)點(diǎn)組。

    • Gateway：任務(wù)類型節(jié)點(diǎn)組（僅EMR-5.10.1及以上版本的DataLake、DataFlow集群支持）。

    • Master-Extend：負(fù)載擴(kuò)展組（僅EMR-3.51.1及以上版本，EMR-5.17.1及以上版本的高可用集群支持）。

      當(dāng)集群Master節(jié)點(diǎn)負(fù)載較高時(shí)，您可以通過(guò)新增Master-Extend節(jié)點(diǎn)組將服務(wù)分散部署在不同的節(jié)點(diǎn)組上，來(lái)分擔(dān)Master節(jié)點(diǎn)的壓力。

      說(shuō)明

      新增服務(wù)后，默認(rèn)不會(huì)部署至Master-Extend節(jié)點(diǎn)組。如果您有部署訴求，可以在新增Master-Extend節(jié)點(diǎn)組時(shí)，按需勾選部署服務(wù)。

    付費(fèi)類型

    當(dāng)前節(jié)點(diǎn)組的付費(fèi)類型。支持的付費(fèi)類型有按量付費(fèi)、搶占式實(shí)例和包年包月。

    說(shuō)明

    僅Task節(jié)點(diǎn)組支持搶占式實(shí)例。

    節(jié)點(diǎn)組名稱

    節(jié)點(diǎn)組名稱不允許重復(fù)。

    部署服務(wù)

    僅Master-Extend節(jié)點(diǎn)組類型支持自定義部署服務(wù)。

    支持以下自定義部署的服務(wù)：

    • Hive：HiveMetaStore、HiveServer

    • Kyuubi：KyuubiServer

    • Spark：SparkHistoryServer、SparkThriftServer

    掛載公網(wǎng)

    可以選擇是否為節(jié)點(diǎn)組開啟公網(wǎng)。開啟后，節(jié)點(diǎn)組內(nèi)所有節(jié)點(diǎn)會(huì)掛載公網(wǎng)。

    交換機(jī)

    可以在新建節(jié)點(diǎn)組的時(shí)候設(shè)置交換機(jī)（同一VPC內(nèi)）。節(jié)點(diǎn)組創(chuàng)建好之后不可更改。

    說(shuō)明

    不支持設(shè)置非集群所在可用區(qū)的VPC下的交換機(jī)。

    附加安全組

    （可選）您可以為節(jié)點(diǎn)組關(guān)聯(lián)更多安全組。

    您最多可以為該節(jié)點(diǎn)組關(guān)聯(lián)4個(gè)附加安全組。

    實(shí)例類型

    根據(jù)您的實(shí)際情況選擇實(shí)例。

    • 如果付費(fèi)類型為包年包月，則只能選擇一個(gè)類型。

    • 如果付費(fèi)類型為按量付費(fèi)或搶占式實(shí)例，且節(jié)點(diǎn)組類型為Task，則最多可以選擇10個(gè)同vCPU和內(nèi)存的實(shí)例作為備選。

    存儲(chǔ)配置

    • 系統(tǒng)盤：根據(jù)需要選擇ESSD云盤或者高效云盤。系統(tǒng)盤取值范圍為60 ~ 500 GiB。推薦至少120 GiB。

    • 數(shù)據(jù)盤：根據(jù)需要選擇ESSD云盤或者高效云盤。數(shù)據(jù)盤取值范圍為40 ~ 32768 GiB。推薦至少80 GiB。

    說(shuō)明

    當(dāng)您選擇ESSD云盤時(shí)，可以根據(jù)所選云盤的容量大小來(lái)設(shè)置不同的性能級(jí)別（PL級(jí)別），以滿足不同的集群性能需求。默認(rèn)的性能級(jí)別為PL1。根據(jù)云盤的容量范圍，系統(tǒng)盤支持PL0、PL1和PL2三個(gè)性能級(jí)別的云盤規(guī)格，數(shù)據(jù)盤支持PL0、PL1、PL2和PL3四個(gè)性能級(jí)別的云盤規(guī)格。云盤的詳細(xì)信息，請(qǐng)參見云盤概述。

    資源預(yù)定策略

    說(shuō)明

    僅節(jié)點(diǎn)組類型選擇為TASK（任務(wù)實(shí)例組）且付費(fèi)類型為按量付費(fèi)時(shí)，支持配置該參數(shù)。

    資源預(yù)定策略支持關(guān)聯(lián)您的ECS私有池，您可以前往ECS控制臺(tái)進(jìn)行資源預(yù)定。更多信息，請(qǐng)參見資源管家概述。

    • 僅公有池（默認(rèn)）：直接使用公共資源池中的資源。

    • 私有池優(yōu)先：如果您已經(jīng)在ECS控制臺(tái)上創(chuàng)建了自己的私有池，并希望使用這些預(yù)分配給特定項(xiàng)目或團(tuán)隊(duì)的資源，則可以選擇此選項(xiàng)。在這種情況下，系統(tǒng)會(huì)先嘗試從您指定的私有池中獲取ECS實(shí)例；如果私有池內(nèi)沒(méi)有足夠的可用資源，則會(huì)自動(dòng)轉(zhuǎn)向公共資源池以完成請(qǐng)求。

    • 指定私有池：指定一個(gè)具體的ECS私有池用于當(dāng)前的EMR集群。

    自動(dòng)補(bǔ)償

    說(shuō)明

    僅節(jié)點(diǎn)組類型選擇為TASK（任務(wù)實(shí)例組）時(shí)，支持配置該參數(shù)。

    開啟自動(dòng)補(bǔ)償功能后，EMR會(huì)自動(dòng)監(jiān)測(cè)當(dāng)前節(jié)點(diǎn)組內(nèi)節(jié)點(diǎn)運(yùn)行狀態(tài)。當(dāng)發(fā)現(xiàn)異常時(shí)，EMR會(huì)自動(dòng)釋放異常節(jié)點(diǎn)，并擴(kuò)容相同數(shù)量的節(jié)點(diǎn)。更多信息，請(qǐng)參見管理自動(dòng)補(bǔ)償。

    擴(kuò)縮容策略

    說(shuō)明

    僅付費(fèi)類型選擇為搶占式實(shí)例時(shí)，支持配置該參數(shù)。

    • 優(yōu)先級(jí)策略（默認(rèn)）

      每個(gè)節(jié)點(diǎn)創(chuàng)建時(shí)，從第一個(gè)規(guī)格開始嘗試購(gòu)買，直到創(chuàng)建成功。最終購(gòu)買的實(shí)例規(guī)格可能隨庫(kù)存變化而不同。

    • 成本優(yōu)化策略

      擴(kuò)容時(shí)彈性伸縮按vCPU單價(jià)從低到高嘗試創(chuàng)建ECS實(shí)例，縮容時(shí)按vCPU單價(jià)從高到低嘗試移除ECS實(shí)例。如果伸縮配置中計(jì)費(fèi)方式選擇搶占式實(shí)例，則優(yōu)先創(chuàng)建搶占式實(shí)例。由于庫(kù)存等原因無(wú)法創(chuàng)建各實(shí)例規(guī)格的搶占式實(shí)例時(shí)，再自動(dòng)嘗試創(chuàng)建按量付費(fèi)實(shí)例。

      更多信息，請(qǐng)參見成本優(yōu)化模式。

    優(yōu)雅下線

    說(shuō)明

    僅部署了YARN服務(wù)的集群，支持配置該參數(shù)。

    開啟優(yōu)雅下線后，節(jié)點(diǎn)組縮容時(shí)會(huì)等待節(jié)點(diǎn)任務(wù)完成或超過(guò)設(shè)定的超時(shí)時(shí)間后，再縮容節(jié)點(diǎn)。您可以在YARN服務(wù)頁(yè)面配置參數(shù)yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs，以修改優(yōu)雅下線超時(shí)時(shí)間。

  4. 單擊確定。

    添加完成后，即可在節(jié)點(diǎn)管理頁(yè)面查看到新增的節(jié)點(diǎn)組。

修改節(jié)點(diǎn)組

  1. 在節(jié)點(diǎn)管理頁(yè)面，單擊目標(biāo)節(jié)點(diǎn)組所在行的節(jié)點(diǎn)組名稱。

  2. 在彈出的節(jié)點(diǎn)組屬性對(duì)話框中，您可以修改節(jié)點(diǎn)組的相關(guān)參數(shù)。

刪除節(jié)點(diǎn)組

重要

當(dāng)Task或Core類型的節(jié)點(diǎn)組的狀態(tài)為運(yùn)行中，且節(jié)點(diǎn)數(shù)量為0時(shí)，可以刪除節(jié)點(diǎn)組。

  1. 在節(jié)點(diǎn)管理頁(yè)面，單擊目標(biāo)節(jié)點(diǎn)組操作列的刪除節(jié)點(diǎn)組。

  2. 在彈出的對(duì)話框中，單擊刪除。

成本優(yōu)化模式

該模式下，您可以制定更詳細(xì)的成本控制策略，在成本和穩(wěn)定性之間進(jìn)行調(diào)整和權(quán)衡。成本優(yōu)化模式

參數(shù)

描述

組內(nèi)最小按量節(jié)點(diǎn)數(shù)量

彈性伸縮組需要的按量實(shí)例的最小個(gè)數(shù)，當(dāng)伸縮組中按量實(shí)例個(gè)數(shù)小于該值時(shí)，將優(yōu)先創(chuàng)建按量實(shí)例。

按量節(jié)點(diǎn)所占比例

彈性伸縮組內(nèi)最小按量節(jié)點(diǎn)數(shù)量滿足之后，創(chuàng)建實(shí)例中按量實(shí)例所占的比例。

最低價(jià)的多個(gè)實(shí)例規(guī)格

指定最低價(jià)的多個(gè)實(shí)例規(guī)格種類數(shù)。當(dāng)創(chuàng)建搶占實(shí)例時(shí)，將在這些規(guī)格種類中進(jìn)行均衡分布。最大值為3。

搶占實(shí)例補(bǔ)償

是否開啟競(jìng)價(jià)實(shí)例的補(bǔ)償機(jī)制。開啟搶占實(shí)例補(bǔ)償后，在競(jìng)價(jià)實(shí)例被回收前5分鐘左右，將主動(dòng)替換掉當(dāng)前競(jìng)價(jià)實(shí)例。

當(dāng)您不指定組內(nèi)最小按量節(jié)點(diǎn)數(shù)量、按量節(jié)點(diǎn)所占比例和最低價(jià)的多個(gè)實(shí)例規(guī)格參數(shù)時(shí)，您創(chuàng)建的是普通成本優(yōu)化伸縮組。否則，您創(chuàng)建的是成本優(yōu)化混合實(shí)例伸縮組。成本優(yōu)化混合實(shí)例伸縮組與普通成本優(yōu)化伸縮組在接口和功能方面是完全兼容的。

對(duì)于成本優(yōu)化混合實(shí)例伸縮組，您可以通過(guò)合理制定混合實(shí)例策略，以實(shí)現(xiàn)與普通成本優(yōu)化伸縮組完全相同的行為。例如：
  • 普通成本優(yōu)化伸縮組創(chuàng)建的全為按量實(shí)例

    指定組內(nèi)最小按量節(jié)點(diǎn)數(shù)量=0，按量節(jié)點(diǎn)所占比例=100，最低價(jià)的多個(gè)實(shí)例規(guī)格=1。

  • 普通成本優(yōu)化伸縮組優(yōu)先創(chuàng)建競(jìng)價(jià)實(shí)例

    指定組內(nèi)最小按量節(jié)點(diǎn)數(shù)量=0，按量節(jié)點(diǎn)所占比例=0，最低價(jià)的多個(gè)實(shí)例規(guī)格=1。

說(shuō)明 成本優(yōu)化模式詳情，請(qǐng)參見AutoScaling成本優(yōu)化模式升級(jí)--混合實(shí)例策略。

相關(guān)文檔