日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關鍵字查找
首頁 開源大數據平臺 E-MapReduce EMR Serverless Spark 操作指南 運維管理 管理默認配置

管理默認配置

更新時間：
產品詳情
我的收藏

阿里云E-MapReduce (簡稱EMR) Serverless Spark提供了全局的Spark默認配置，以支持多樣化的任務執行和管理需求。該配置包含了運行特定任務所需的全部配置信息，確保在任務提交時保持一致的配置和運行環境。

前提條件

已創建工作空間，詳情請參見管理工作空間。

配置參數

您可以在EMR Serverless Spark的配置管理頁面查看或修改參數。

參數

說明

引擎版本

當前Compute使用的引擎版本。引擎版本號含義等詳情請參見引擎版本介紹。

spark.driver.cores

用于指定Spark應用程序中Driver進程所使用的CPU核心數量。

spark.driver.memory

用于指定Spark應用程序中Driver進程可以使用的內存量。

spark.executor.cores

用于指定每個Executor進程可以使用的CPU核心數量。

spark.executor.memory

用于指定每個Executor進程可以使用的內存量。

spark.executor.instances

Spark分配的執行器（Executor）數量。

動態資源分配

默認關閉。開啟后，需要配置以下參數：

  • executors數量下限：默認為2。

  • executors數量上限：如果未設置spark.executor.instances，則默認值為10。

更多內存配置

  • spark.driver.memoryOverhead：每個Driver可利用的非堆內存。如果未設置該參數，Spark會根據默認值自動分配，默認值為 max（384MB, 10% × spark.driver.memory）。

  • spark.executor.memoryOverhead：每個Executor可利用的非堆內存。如果未設置該參數，Spark會根據默認值自動分配，默認值為 max（384MB, 10% × spark.executor.memory）。

  • spark.memory.offHeap.size：Spark可用的堆外內存大小。默認值為1 GB。

    僅在spark.memory.offHeap.enabled設置為true時生效。默認情況下，當采用Fusion Engine時，該功能將處于啟用狀態，其非堆內存默認設置為1 GB。

Spark配置

填寫Spark配置信息，默認以空格符分隔，例如，spark.sql.catalog.paimon.metastore dlf。