會話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要使用Notebook會話來進行Notebook開發。 本文主要為您介紹如何創建Notebook會話。
創建Notebook會話
Notebook會話創建完成后,您可以在進行Notebook開發時選擇此會話。
進入Notebook會話頁面。
在左側導航欄,選擇
。在Spark頁面,單擊目標工作空間名稱。
在EMR Serverless Spark頁面,選擇左側導航欄中的會話管理。
單擊Notebook會話頁簽。
在Notebook會話頁面,單擊創建Notebook會話。
在創建Notebook會話頁面,配置以下信息,單擊創建。
重要建議將所選部署隊列的并發上限至少設置為Notebook會話所需的資源大小,具體數值請以控制臺展示為準。
參數
說明
名稱
新建Notebook會話的名稱。
長度限制為1~64個字符,僅支持字母、數字、短劃線(-)、下劃線(_)和空格。
部署隊列
請選擇合適的開發隊列部署會話。僅支持選擇開發或者開發和生產公用的隊列。
隊列更多信息,請參見管理資源隊列。
引擎版本
當前會話使用的引擎版本。引擎版本號含義等詳情請參見引擎版本介紹。
使用Fusion加速
Fusion可加速Spark負載的運行并降低任務的總成本。有關計費信息,請參見產品計費。有關Fusion引擎介紹,請參見Fusion引擎。
運行環境
可以選擇在運行環境管理頁面創建的自定義環境,Notebook會話啟動時將根據所選環境預裝相關庫。
說明僅支持選擇已就緒的運行環境。
自動停止
默認開啟。支持您自定義設置Notebook會話在不活動后的自動停止時間。
spark.driver.cores
用于指定Spark應用程序中Driver進程所使用的CPU核心數量。默認值為1 CPU。
spark.driver.memory
用于指定Spark應用程序中Driver進程可以使用的內存量。默認值為3.5 GB。
spark.executor.cores
用于指定每個Executor進程可以使用的CPU核心數量。默認值為1 CPU。
spark.executor.memory
用于指定每個Executor進程可以使用的內存量。默認值為3.5 GB。
spark.executor.instances
Spark分配的執行器(Executor)數量。默認值為2。
動態資源分配
默認關閉。開啟后,需要配置以下參數:
executors數量下限:默認為2。
executors數量上限:如果未設置spark.executor.instances,則默認值為10。
更多內存配置
spark.driver.memoryOverhead:每個Driver可利用的非堆內存。如果未設置該參數,Spark會根據默認值自動分配,默認值為
max(384MB, 10% × spark.driver.memory)
。spark.executor.memoryOverhead:每個Executor可利用的非堆內存。如果未設置該參數,Spark會根據默認值自動分配,默認值為
max(384MB, 10% × spark.executor.memory)
。spark.memory.offHeap.size:Spark可用的堆外內存大小。默認值為1 GB。
僅在
spark.memory.offHeap.enabled
設置為true
時生效。默認情況下,當采用Fusion Engine時,該功能將處于啟用狀態,其非堆內存默認設置為1 GB。
Spark配置
填寫Spark配置信息,默認以空格符分隔,例如,
spark.sql.catalog.paimon.metastore dlf
。單擊新建Notebook會話操作列的啟動。
相關文檔
隊列相關的操作,請參見管理資源隊列。
會話支持的角色及權限,請參見管理用戶和角色。
Notebook完整的開發流程示例,請參見Notebook開發快速入門。