EMR on ECS
|
功能集 |
功能 |
功能描述 |
參考文檔 |
|
集群管理 |
創建集群 |
您可以輕松構建和運行Hadoop、Spark、Hive、Presto等開源大數據框架，以進行大規模數據處理和分析等操作。 |
創建集群 |
|
釋放集群 |
在完成EMR集群任務后及時釋放集群，可以釋放資源并避免不必要的費用。 |
釋放集群 | |
|
查看集群信息 |
查看您賬號下擁有的集群概況和單個集群的詳情。 |
查看集群列表與詳情 | |
|
登錄集群 |
通過與集群主節點建立SSH連接，您可以使用終端上的Linux命令來管理和與集群進行交互操作。 |
登錄集群 | |
|
集群類型 |
阿里云EMR提供多種集群類型，包括DataLake、OLAP、DataFlow、DataServing等，旨在為大數據處理和分析提供強大、靈活和高效的計算資源。 |
||
|
節點管理 |
節點組管理 |
節點組是您使用阿里云E-MapReduece服務對集群節點進行管理的核心單元，通常是由相同規格的ECS實例組成。 |
管理節點組 |
|
節點組擴容 |
當E-MapReduce集群計算資源或存儲資源不足時，您可以通過水平擴展Core節點和Task節點來滿足需求。 |
擴容集群 | |
|
節點組縮容 |
當E-MapReduce集群的計算資源過剩時，您可以縮減Task節點的數量。 |
縮容集群 | |
|
節點組磁盤擴容 |
當E-MapReduce集群的數據存儲空間不足時，您可以進行磁盤擴容。 |
擴容磁盤 | |
|
升級節點配置 |
當節點組內ECS實例的規格（vCPU和內存）無法滿足您的業務需求時，您可以使用配置升級功能提升ECS實例規格。 |
升級節點配置 | |
|
查看節點健康狀態 |
節點健康狀態展示了當前節點的運行狀態是否正常，它是由多個健康檢查項結果匯總而成的。 |
查看節點健康狀態 | |
|
服務管理 |
新增服務 |
支持在集群成功創建后，新增未安裝的服務。 |
新增服務 |
|
重啟服務 |
當配置項修改后，需要重啟對應的服務使配置生效，或當某個服務出現故障或異常時，重啟服務可以嘗試修復服務的問題，并恢復其正常運行狀態。 |
重啟服務 | |
|
管理配置項 |
支持通過控制臺的方式修改、添加或查看集群中服務的配置項。 |
管理配置項 | |
|
回滾配置 |
支持通過控制臺對各服務配置項的變更操作進行回滾。 |
回滾配置 | |
|
配置自定義軟件 |
支持在集群創建時使用軟件自定義配置功能，修改現有配置或添加新的配置項。 |
配置自定義軟件 | |
|
導出和導入服務配置 |
支持以XML或JSON格式導出服務配置，便于備份、遷移和恢復EMR服務的配置。導出的JSON格式的服務配置可以導入新集群，作為新集群的預設配置。 |
導出和導入服務配置 | |
|
訪問鏈接與端口 |
通過訪問鏈接與端口功能，您可以方便地通過控制臺方式訪問集群中已安裝開源組件Web UI的地址。 |
訪問鏈接與端口 | |
|
查看集群服務信息 |
可以查看集群中已安裝服務（例如，HDFS和YARN等）的運行狀態，組件列表及配置項信息。 |
查看集群服務信息 | |
|
查看服務健康狀態 |
健康狀態展示當前服務的運行狀態是否正常，它是由多個健康檢查項結果匯總而成的。 |
查看服務和組件健康狀態 | |
|
組件管理 |
組件操作 |
阿里云EMR集群集成了一系列大數據服務，用于處理、分析和存儲大規模數據，并提供了組件的基礎操作以及高階實踐。 |
組件操作 |
|
查看組件部署信息 |
支持查看各節點上服務組件的部署信息。 |
查看組件部署信息 | |
|
查看組件健康狀態 |
健康狀態展示當前組件的運行狀態是否正常，它是由多個健康檢查項結果匯總而成的。 |
查看服務和組件健康狀態 | |
|
用戶管理 |
添加用戶 |
支持添加已有的RAM用戶來管理EMR集群或其他云服務資源。 |
管理用戶 |
|
刪除用戶 |
支持通過控制臺刪除EMR集群中已有的用戶。 |
管理用戶 | |
|
重置用戶密碼 |
可以修改已添加用戶的密碼。 |
管理用戶 | |
|
下載認證憑據 |
下載認證憑據功能僅支持開啟高安全的集群，通過該功能，您可以下載目標用戶的Keytab文件。 |
管理用戶 | |
|
彈性伸縮 |
添加彈性伸縮規則 |
隨著業務負載需求的持續波動，可啟用的彈性伸縮功能，并設定相應的伸縮策略。在面對業務量高峰或低谷時，EMR能夠自動適配性地增加或減少Task節點數量，以確保任務高效處理的同時，最大限度地優化資源使用，降低運營成本。 |
添加彈性伸縮規則 |
|
查看彈性伸縮活動 |
查看集群節點變化情況及彈性伸縮活動的執行記錄。 |
查看彈性伸縮活動 | |
|
查看集群資源概覽 |
提供集群資源變化分析和彈性伸縮規則推薦。 |
查看集群資源概覽 | |
|
可視化彈性成本分析 |
可多維度地了解集群資源使用量及成本分布情況，從而協助您評估集群彈性成本節省效果，優化集群資源利用。 |
可視化彈性成本分析 | |
|
腳本操作 |
引導腳本管理 |
可以安裝您需要的第三方軟件或者修改集群運行環境。 |
管理引導操作 |
|
手動腳本管理 |
集群創建完成后，您可以通過手動執行腳本功能批量選擇節點來運行指定腳本，以實現個性化需求。 |
手動執行腳本 | |
|
操作歷史 |
操作歷史列表展示 |
展示集群的操作記錄。 |
- |
|
監控報警 |
集群監控 |
查看各服務指標的詳細信息。 |
集群指標 |
|
報警管理 |
當您需要監控各服務資源的使用情況時，可以創建報警規則。如果資源的監控指標達到報警條件，云監控自動發送報警通知，幫助您及時得知異群的異常情況，并快速處理。 |
管理報警 | |
|
日志管理 |
日志管理功能將EMR與日志服務SLS相結合，允許您在EMR控制臺直接查詢開源組件的日志。 |
管理日志 | |
|
健康檢查 |
實時檢測 |
EMR Doctor實時檢測按5分鐘為粒度對集群的實時狀態進行檢查，您可以通過實時檢測了解集群當前的狀態、出現的問題，以及發生問題的原因，并對相關問題進行修復，保證集群運行的穩定性。 |
啟動實時檢測與分析 |
|
集群日報 |
通過集群的健康檢查功能，可以了解當前集群的健康狀態，并根據改進建議對集群進行調整，以保持健康的狀態。 |
查看集群日報與分析 | |
|
Gateway |
創建Gateway集群 |
Gateway集群不僅支持負載均衡和實現安全隔離，也能夠便捷地提交作業至E-MapReduce集群。 |
創建Gateway集群 |
|
配置Gateway集群 |
為了方便部署Gateway環境，E-MapReduce提供了名為EMR-CLI的工具，它基于阿里云ECS來創建實例并部署Gateway環境。 |
使用EMR-CLI自定義部署Gateway環境 |
EMR on ACK
|
功能集 |
功能 |
功能描述 |
參考文檔 |
|
集群管理 |
創建集群 |
可以將開源大數據服務部署在阿里云容器服務Kubernetes版（ACK）之上，利用ACK在服務部署和容器應用管理的優勢，減少對底層集群資源的運維投入，以便于您可以更加專注大數據任務本身。 |
|
|
釋放集群 |
當集群不再使用時，您可以釋放集群以刪除對應的Namespace以及該Namespace下的所有軟件服務，但不會釋放實際的物理資源。 |
釋放集群 | |
|
查看集群信息 |
查看您賬號下擁有的集群概況。 |
||
|
集群類型 |
EMR on ACK支持的集群類型。 |
創建集群 | |
|
服務管理 |
重啟服務 |
修改配置項后，需要重啟對應的服務使配置生效。 |
重啟服務 |
|
訪問WEB UI |
添加EMR用戶后可以訪問相應的UI頁面。 |
訪問Web UI | |
|
管理配置項 |
可以為集群修改和添加配置項。 |
管理配置項 | |
|
作業管理 |
查看作業信息 |
支持查看集群下的作業信息。 |
查看作業列表 |
EMR Serverless
|
功能集 |
功能 |
功能描述 |
參考文檔 |
|
Serverless StarRocks |
實例管理 |
通過創建StarRocks實例，您可以快速獲取一個托管的且高性能的環境，無需自行搭建和維護基礎設施，輕松進行大規模數據分析和查詢。 |
|
|
實例升級 |
阿里云EMR Serverless StarRocks支持實例版本的升級，您可以便捷地將實例更新至最新版本，享受性能改進與功能增強。 |
版本升級 | |
|
實例配置 |
EMR Serverless支持通過控制臺查詢或修改StarRocks BE、FE等組件的參數，以及查看配置的操作歷史記錄。 |
||
|
監控報警 |
監控報警涵蓋了監控報表和告警設置功能，通過對重要的監控指標設置報警規則，您可以實時了解實例的運行狀況，及時處理潛在風險，保障實例穩定運行。 |
||
|
診斷分析 |
EMR StarRocks Manager針對您提交的查詢（Query）記錄提供診斷與分析的能力。 |
查詢管理與分析 | |
|
用戶和權限管理 |
通過用戶管理功能，您可以對數據庫進行用戶權限控制，這樣可以確保只有授權的用戶能夠管理相關的數據庫。 |
管理用戶及數據授權 | |
|
元數據管理 |
元數據管理功能主要為您展示當前實例的所有數據庫，數據表，分區及各種任務等信息。 |
查看元數據 | |
|
查詢管理 |
通過EMR StarRocks Manager提供的全部查詢功能，您可以獲取系統的整體查詢情況，以便于進行深入分析和管理。 |
查詢管理與分析 | |
|
導入任務管理 |
導入功能是將原始數據按照相應的模型進行清洗轉換并加載到StarRocks中，方便查詢使用。 |
數據導入 |
EMR Workbench
|
功能集 |
功能 |
功能描述 |
參考文檔 |
|
EMR Notebook |
工作空間管理 |
通過工作空間，您可以創建和編輯Notebook文件，方便地上傳和下載文件，與其他用戶共享Notebook和數據，并靈活地管理訪問權限。 |
管理工作空間 |
|
數據源管理 |
支持添加數據庫，可供當前工作空間中的所有筆記本使用。 |
管理數據庫 | |
|
外部集群管理 |
支持添加外部集群，可供當前工作空間內的所有筆記本使用。 |
管理外部集群 | |
|
Notebook筆記本 |
通過EMR Notebook可以完成對SQL、Python、Markdown等多種語言程序的代碼的編寫、調試和執行。 |
管理筆記本 | |
|
用戶管理 |
EMR Notebook中的用戶有權限管理當前工作空間及其內容。 |
管理用戶 | |
|
EMR Workflow |
工作空間管理 |
您所有的配置、任務、工作流均在具體的項目空間下進行。工作空間管理員可以加入成員至工作空間，并賦予工作角色，以實現多角色協同工作。 |
管理工作空間 |
|
調度資源組管理 |
調度資源組用于任務的調度運行。如果默認調度資源組不能滿足您的需求，您可以根據業務場景需求購買合適規格的付費調度資源組。 |
管理調度資源組 | |
|
項目管理 |
在項目中您可以進行任務的編輯和工作流的調度。 |
創建項目 | |
|
工作流定義管理 |
工作流定義是通過拖拽任務節點并建立任務節點之間的關聯來創建可視化的DAG（有向無環圖）。 |
管理工作流定義 | |
|
工作流實例管理 |
工作流實例是工作流定義的實例化，可以通過手動啟動或定時調度生成。當工作流被觸發執行時，工作流定義就會實例化成為一個工作流實例。 |
管理工作流實例 | |
|
任務定義管理 |
保存工作流后，您可以對已有的任務定義進行操作。 |
管理任務 | |
|
任務實例管理 |
保存工作流后，您可以對已有的任務實例進行操作。 |
管理任務 | |
|
手動任務定義管理 |
手動任務能夠獨立于工作流定義創建，僅支持手動運行。 |
管理手動任務 | |
|
手動任務實例管理 |
手動任務實例是手動任務定義的一次具體運行。每當手動任務被人為觸發運行時，該手動任務的定義就會實例化為一個手動任務實例。 |
管理手動任務 | |
|
資源中心 |
當在調度過程中需要使用第三方的JAR或者需要自定義腳本時，您可以在資源中心中上傳所需文件。 |
資源中心 | |
|
數據源中心 |
支持配置數據源，以滿足不同的數據存儲和訪問需求。 |
數據源中心 | |
|
安全中心 |
安全中心涵蓋用戶管理、告警實例及告警組管理，以及審計日志，確保了操作的精細權限控制和安全監控。 |