在阿里云E-MapReduce(簡稱EMR)體系中,Gateway實例扮演著至關重要的角色。它可以作為一個獨立的作業提交點,關聯到已有的集群。本文為您介紹如何在已有的EMR集群基礎上創建Gateway集群和Gateway節點組。
Gateway集群或Gateway節點組通常是一個獨立的集群或節點組,由多臺相同配置的Gateway實例組成,集群上會部署HDFS、YARN、Hive、Spark2、Spark3、JindoSDK、Flink、Sqoop、Impala、Presto、Hudi、Iceberg、Tez和Deltalake等客戶端。未創建Gateway集群或Gateway節點組時,Hadoop等集群的作業是在本集群的Master或Core節點上提交的,會占用本集群的資源。創建Gateway集群后,您可以通過Gateway集群來提交其關聯的集群的作業,這樣既不會占用關聯集群的資源,又可以提高關聯集群Master或Core節點的穩定性,尤其是Master節點。
每一個Gateway集群或Gateway節點組均支持獨立的環境配置。例如,在多個部門共用一個集群的場景下,您可以為這個集群創建多個Gateway集群或Gateway節點組,以滿足不同部門的業務需求。您可以根據集群類型和版本選擇創建Gateway集群或Gateway節點組,具體操作請參見以下文檔。
集群類型 | 文檔鏈接 | |
Hadoop | ||
DataLake和DataFlow集群 | EMR-5.10.1及以上版本 | 支持增加Gateway類型的節點組,詳情請參見管理節點組。 |
EMR-5.10.1以下版本 | ||
OLAP |
文檔內容是否對您有幫助?