日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

管理Notebook會話

會話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要使用Notebook會話來進行Notebook開發。 本文主要為您介紹如何創建Notebook會話

創建Notebook會話

Notebook會話創建完成后,您可以在進行Notebook開發時選擇此會話。

  1. 進入Notebook會話頁面。

    1. 登錄E-MapReduce控制臺

    2. 在左側導航欄,選擇EMR Serverless > Spark

    3. Spark頁面,單擊目標工作空間名稱。

    4. EMR Serverless Spark頁面,選擇左側導航欄中的會話管理

    5. 單擊Notebook會話頁簽。

  2. Notebook會話頁面,單擊創建Notebook會話

  3. 在創建Notebook會話頁面,配置以下信息,單擊創建

    重要

    建議將所選部署隊列的并發上限至少設置為Notebook會話所需的資源大小,具體數值請以控制臺展示為準。

    參數

    說明

    名稱

    新建Notebook會話的名稱。

    長度限制為1~64個字符,僅支持字母、數字、短劃線(-)、下劃線(_)和空格。

    部署隊列

    請選擇合適的開發隊列部署會話。僅支持選擇開發或者開發和生產公用的隊列。

    隊列更多信息,請參見管理資源隊列

    引擎版本

    當前會話使用的引擎版本。引擎版本號含義等詳情請參見引擎版本介紹

    使用Fusion加速

    Fusion可加速Spark負載的運行并降低任務的總成本。有關計費信息,請參見產品計費。有關Fusion引擎介紹,請參見Fusion引擎

    運行環境

    可以選擇在運行環境管理頁面創建的自定義環境,Notebook會話啟動時將根據所選環境預裝相關庫。

    說明

    僅支持選擇已就緒的運行環境。

    自動停止

    默認開啟。支持您自定義設置Notebook會話在不活動后的自動停止時間。

    spark.driver.cores

    用于指定Spark應用程序中Driver進程所使用的CPU核心數量。默認值為1 CPU。

    spark.driver.memory

    用于指定Spark應用程序中Driver進程可以使用的內存量。默認值為3.5 GB。

    spark.executor.cores

    用于指定每個Executor進程可以使用的CPU核心數量。默認值為1 CPU。

    spark.executor.memory

    用于指定每個Executor進程可以使用的內存量。默認值為3.5 GB。

    spark.executor.instances

    Spark分配的執行器(Executor)數量。默認值為2。

    動態資源分配

    默認關閉。開啟后,需要配置以下參數:

    • executors數量下限:默認為2。

    • executors數量上限:如果未設置spark.executor.instances,則默認值為10。

    更多內存配置

    • spark.driver.memoryOverhead:每個Driver可利用的非堆內存。如果未設置該參數,Spark會根據默認值自動分配,默認值為 max(384MB, 10% × spark.driver.memory)

    • spark.executor.memoryOverhead:每個Executor可利用的非堆內存。如果未設置該參數,Spark會根據默認值自動分配,默認值為 max(384MB, 10% × spark.executor.memory)

    • spark.memory.offHeap.size:Spark可用的堆外內存大小。默認值為1 GB。

      僅在spark.memory.offHeap.enabled設置為true時生效。默認情況下,當采用Fusion Engine時,該功能將處于啟用狀態,其非堆內存默認設置為1 GB。

    Spark配置

    填寫Spark配置信息,默認以空格符分隔,例如,spark.sql.catalog.paimon.metastore dlf

  4. 單擊新建Notebook會話操作列的啟動

相關文檔