日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關鍵字查找
首頁 開源大數(shù)據(jù)平臺 E-MapReduce EMR on ECS 操作指南 集群管理 集群配置 腳本操作 管理引導操作

管理引導操作

更新時間：
產(chǎn)品詳情
我的收藏

添加引導操作，可以安裝您需要的第三方軟件或者修改集群運行環(huán)境。本文為您介紹如何添加引導操作及其示例。

背景信息

引導操作功能可以在集群擴容或彈性伸縮時自動在新增節(jié)點上運行指定腳本。手動執(zhí)行功能可以批量選擇在已有節(jié)點上運行指定腳本，以實現(xiàn)個性化需求，手動執(zhí)行腳本的詳情，請參見手動執(zhí)行腳本。

引導操作類似手動執(zhí)行，在集群創(chuàng)建時或者創(chuàng)建完成后，您可以通過引導操作功能，完成很多目前E-MapReduce集群尚未支持的操作，例如：

  • 使用Yum安裝已經(jīng)提供的軟件。

  • 直接下載公網(wǎng)上的一些公開的軟件。

  • 讀取OSS中您的自有數(shù)據(jù)。

  • 安裝并運行一個服務，例如Flink或者Impala。

使用限制

  • 您最多可以添加10個引導操作。添加的引導操作會按照您指定的順序執(zhí)行。

  • 您指定的腳本默認使用root賬戶執(zhí)行，您也可以在腳本中使用su - hadoop命令，切換為hadoop用戶執(zhí)行。

添加引導操作

添加引導操作支持以下兩種方式。

方式一：創(chuàng)建集群時添加引導操作

  1. 進入集群管理頁面。

    1. 登錄E-MapReduce控制臺。

    2. 在頂部菜單欄處，根據(jù)實際情況選擇地域和資源組。

  2. 在EMR on ECS頁面，單擊創(chuàng)建集群。

  3. 在基礎配置的高級設置區(qū)域，單擊引導操作所在行的添加引導操作。

  4. 填寫以下配置項。

    參數(shù)

    描述

    操作名稱

    引導操作的名稱。

    腳本地址

    選擇腳本所在OSS的路徑。

    腳本路徑格式必須為oss://**/*.sh格式。

    參數(shù)

    引導操作腳本的參數(shù)，指定腳本中所引用的變量的值。

    執(zhí)行時間

    • 組件安裝前：組件安裝前執(zhí)行該腳本。

    • 組件啟動前：組件安裝后、啟動前執(zhí)行該腳本。

    • 組件啟動后：組件啟動后執(zhí)行該腳本。

      執(zhí)行順序如下圖

      image

    執(zhí)行失敗策略

    • 繼續(xù)執(zhí)行：如果該腳本執(zhí)行失敗，則繼續(xù)執(zhí)行下一個腳本，不會影響集群創(chuàng)建或擴容流程。

    • 停止執(zhí)行：如果該腳本執(zhí)行失敗，則立即停止當前腳本的執(zhí)行，并標記集群創(chuàng)建或擴容流程為失敗狀態(tài)。

    執(zhí)行范圍

    取值范圍如下：

    • 集群：此引導操作適用于整個集群。

    • 節(jié)點組類型：此操作引導僅適用于您選擇的節(jié)點組的類型。

    引導操作示例請參見示例。

    說明

    引導操作可能會執(zhí)行失敗，但引導操作失敗并不會影響集群的創(chuàng)建。

    創(chuàng)建集群詳情，請參見創(chuàng)建集群。集群創(chuàng)建成功后，您可以在集群的腳本操作頁面，查看是否有異常發(fā)生。如果有異常，請參見查看腳本執(zhí)行日志。

方式二：創(chuàng)建集群后添加引導操作

  1. 進入腳本操作頁面。

    1. 登錄E-MapReduce控制臺。

    2. 在頂部菜單欄處，根據(jù)實際情況選擇地域和資源組。

    3. 單擊目標集群的集群ID。

    4. 單擊上方的腳本操作頁簽。

  2. 在引導操作頁面，單擊添加引導操作。

  3. 在添加引導操作對話框中，填寫配置項。

    參數(shù)

    描述

    名稱

    引導操作的名稱。

    腳本位置

    選擇腳本所在的OSS位置。

    腳本路徑格式必須為oss://**/*.sh格式。

    參數(shù)

    引導操作腳本的參數(shù)，指定腳本中所引用的變量的值。

    執(zhí)行范圍

    取值范圍如下：

    • 集群：此引導操作適用于整個集群。

    • 節(jié)點組類型：此操作引導僅適用于您選擇的節(jié)點組的類型。

    • 指定節(jié)點組：此引導操作僅適用于您選擇的節(jié)點組。

    執(zhí)行時間

    • 組件安裝前：組件安裝前執(zhí)行該腳本。

    • 組件啟動前：組件安裝后、啟動前執(zhí)行該腳本。

    • 組件啟動后：組件啟動后執(zhí)行該腳本。

      執(zhí)行順序如下圖

      image

    執(zhí)行失敗策略

    • 繼續(xù)執(zhí)行：如果該腳本執(zhí)行失敗，則繼續(xù)執(zhí)行下一個腳本，不會影響集群創(chuàng)建或擴容流程。

    • 停止執(zhí)行：如果該腳本執(zhí)行失敗，則立即停止當前腳本的執(zhí)行，并標記集群創(chuàng)建或擴容流程為失敗狀態(tài)。

  4. 單擊確定。

    引導操作示例請參見示例。

    您可以對已有的引導操作進行以下操作：

    • 編輯引導操作：單擊目標引導操作所在行的編輯。

    • 克隆引導操作：單擊目標引導操作所在行的克隆。

    • 刪除引導操作：單擊目標引導操作所在行的刪除。

查看腳本執(zhí)行日志

說明

建議您在腳本中關鍵位置增加日志打印邏輯，以便通過運行日志輔助您排查腳本運行情況。

您可以通過操作歷史查看引導操作腳本的執(zhí)行日志。具體步驟如下：

  1. 進入集群服務頁面。

    1. 登錄E-MapReduce控制臺。

    2. 在左側(cè)導航欄，單擊EMR on ECS。

    3. 在頂部菜單欄處，根據(jù)實際情況選擇地域和資源組。

    4. 在EMR on ECS頁面，單擊目標集群操作列的集群服務。

  2. 單擊右上方的操作歷史。

  3. 在操作歷史面板中，找到執(zhí)行腳本的操作，查看詳情。

    • DataLake、DataFlow、OLAP、DataServing和自定義集群：在創(chuàng)建集群（create）或擴容（increaseNodeGroup）操作記錄中，單擊展開查看任務詳情。其中RUN_BOOTSTRAP_CLUSTER_SCRIPT_<引導操作名稱>_<引導操作ID>開頭的任務為執(zhí)行引導操作的任務，可查看執(zhí)行Stdout和Stderr日志。操作歷史

    • Hadoop、Data Science和EMR Studio集群：在創(chuàng)建集群（CREATE_CLUSTER）或擴容（RESIZE_CLUSTER）操作記錄中，單擊展開查看任務詳情。pollDeployTaskStatusActivity下的RUN_SCRIPT_HOST_**開頭的任務即為執(zhí)行引導操作的任務，可查看執(zhí)行Stdout和Stderr日志。

示例

引導操作需要指定引導操作的名稱和執(zhí)行腳本在OSS上的位置，根據(jù)需要指定腳本的參數(shù)。執(zhí)行引導操作時各個節(jié)點會下載您指定的OSS腳本，直接執(zhí)行或者附加上可選參數(shù)執(zhí)行。引導操作示例如下：

  • 示例1

    您可以在腳本中指定需要從OSS下載的文件。例如，添加以下腳本，將oss://<yourBucket>/<myFile>.tar.gz文件下載到本地，并解壓到/<yourDir>目錄下。

    重要

    OSS地址有內(nèi)網(wǎng)地址、外網(wǎng)地址和VPC網(wǎng)絡地址之分。如果使用經(jīng)典網(wǎng)絡，則需要指定內(nèi)網(wǎng)地址，例如杭州是oss-cn-hangzhou-internal.aliyuncs.com。如果使用VPC網(wǎng)絡，則需要指定VPC內(nèi)網(wǎng)可訪問的域名，例如杭州是vpc100-oss-cn-hangzhou.aliyuncs.com。

    • 數(shù)據(jù)湖（DataLake）、實時數(shù)據(jù)流（DataFlow）、數(shù)據(jù)分析（OLAP）、數(shù)據(jù)服務（DataServing）和自定義場景的集群

      #!/bin/bash
ossutil64 cp oss://<yourBucket>/<myFile>.tar.gz  ./  -e oss-cn-hangzhou-internal.aliyuncs.com -i <yourAccessKeyId>  -k <yourAccessKeySecret>
mkdir -p /<yourDir>
tar -zxvf <myFile>.tar.gz -C /<yourDir>

    • 舊版數(shù)據(jù)湖（Hadoop）集群

      #!/bin/bash
osscmd --id=<yourAccessKeyId> --key=<yourAccessKeySecret> --host=oss-cn-hangzhou-internal.aliyuncs.com get oss://<yourBucket>/<myFile>.tar.gz ./
mkdir -p /<yourDir>
tar -zxvf <myFile>.tar.gz -C /<yourDir>

  • 示例2

    您可以通過Yum安裝額外的系統(tǒng)軟件包，例如安裝ld-linux.so.2。

    #!/bin/bash
yum install -y ld-linux.so.2

常見問題

  • Q：EMR引導腳本執(zhí)行中斷，但日志內(nèi)沒有報錯信息。

    A：建議您在腳本中的關鍵位置增加日志打印邏輯，以便通過運行日志輔助您排查腳本運行情況。目前集群腳本最常見的報錯原因有以下四類：

    • 網(wǎng)絡連接性問題。ECS實例和對應的OSS需要在同一地域下。例如，北京地域下的ECS實例連接不上非北京地域下的OSS。

    • ECS獲取AccessKey信息失敗問題通常是由于ECS實例未綁定AliyunECSInstanceForEMRRole導致的。

    • 腳本中使用了nohup，但又未重定向輸出，將導致Task長時間無法退出。正確用法為nohup ... >*** 2>&1。

    • 腳本在Windows環(huán)境下編輯會帶有Windows的換行符號，導致腳本在Linux環(huán)境下運行出錯。您可以在操作歷史報錯日志中查看是否有^M字樣。如果有的話建議您在Linux環(huán)境下重新編輯腳本并上傳OSS。

  • Q：EMR引導腳本執(zhí)行無YARN、HDFS等命令。

    A：目前EMR管控執(zhí)行集群腳本時默認不帶有任何profile信息，如果您需要使用YARN、HDFS等相關命令，請在腳本開頭加入. /etc/profile加載，便可以使用上述命令。

    重要

    在. /etc/profile中，.與/etc/profile之間有一個空格。