管理SQL會(huì)話
會(huì)話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要訪問SQL會(huì)話來運(yùn)行SQL查詢和進(jìn)行數(shù)據(jù)科學(xué)分析。 本文主要為您介紹如何創(chuàng)建SQL會(huì)話。
創(chuàng)建SQL會(huì)話
SQL會(huì)話創(chuàng)建完成后，您可以在創(chuàng)建SQL類型任務(wù)時(shí)選擇此會(huì)話。
進(jìn)入會(huì)話管理頁面。
在左側(cè)導(dǎo)航欄，選擇。
在Spark頁面，單擊目標(biāo)工作空間名稱。
在EMR Serverless Spark頁面，單擊左側(cè)導(dǎo)航欄中的會(huì)話管理。
在SQL會(huì)話頁面，單擊創(chuàng)建SQL會(huì)話。
在創(chuàng)建SQL會(huì)話頁面，配置以下信息，單擊創(chuàng)建。
重要建議將所選部署隊(duì)列的并發(fā)上限至少設(shè)置為Notebook會(huì)話所需的資源大小，具體數(shù)值請(qǐng)以控制臺(tái)展示為準(zhǔn)。
參數(shù)
說明
名稱
新建SQL會(huì)話的名稱。
長(zhǎng)度限制為1~64個(gè)字符，僅支持字母、數(shù)字、短劃線（-）、下劃線（_）和空格。
部署隊(duì)列
請(qǐng)選擇合適的開發(fā)隊(duì)列部署此SQL會(huì)話。僅支持選擇開發(fā)或者開發(fā)和生產(chǎn)公用的隊(duì)列。
隊(duì)列更多信息，請(qǐng)參見管理資源隊(duì)列。
引擎版本
當(dāng)前SQL會(huì)話使用的引擎版本。引擎版本號(hào)含義等詳情請(qǐng)參見引擎版本介紹。
使用Fusion加速
Fusion可加速Spark負(fù)載的運(yùn)行并降低任務(wù)的總成本。有關(guān)計(jì)費(fèi)信息，請(qǐng)參見產(chǎn)品計(jì)費(fèi)。有關(guān)Fusion引擎介紹，請(qǐng)參見Fusion引擎。
自動(dòng)停止
默認(rèn)開啟。支持您自定義設(shè)置SQL會(huì)話在不活動(dòng)后的自動(dòng)停止時(shí)間。
spark.driver.cores
用于指定Spark應(yīng)用程序中Driver進(jìn)程所使用的CPU核心數(shù)量。默認(rèn)值為1 CPU。
spark.driver.memory
用于指定Spark應(yīng)用程序中Driver進(jìn)程可以使用的內(nèi)存量。默認(rèn)值為3.5 GB。
spark.executor.cores
用于指定每個(gè)Executor進(jìn)程可以使用的CPU核心數(shù)量。默認(rèn)值為1 CPU。
spark.executor.memory
用于指定每個(gè)Executor進(jìn)程可以使用的內(nèi)存量。默認(rèn)值為3.5 GB。
spark.executor.instances
Spark分配的執(zhí)行器（Executor）數(shù)量。默認(rèn)值為2。
動(dòng)態(tài)資源分配
默認(rèn)關(guān)閉。開啟后，需要配置以下參數(shù)：
executors數(shù)量下限：默認(rèn)為2。
executors數(shù)量上限：如果未設(shè)置spark.executor.instances，則默認(rèn)值為10。
更多內(nèi)存配置
spark.driver.memoryOverhead：每個(gè)Driver可利用的非堆內(nèi)存。如果未設(shè)置該參數(shù)，Spark會(huì)根據(jù)默認(rèn)值自動(dòng)分配，默認(rèn)值為
max（384MB, 10% × spark.driver.memory）。spark.executor.memoryOverhead：每個(gè)Executor可利用的非堆內(nèi)存。如果未設(shè)置該參數(shù)，Spark會(huì)根據(jù)默認(rèn)值自動(dòng)分配，默認(rèn)值為
max（384MB, 10% × spark.executor.memory）。spark.memory.offHeap.size：Spark可用的堆外內(nèi)存大小。默認(rèn)值為1 GB。
僅在
spark.memory.offHeap.enabled設(shè)置為true時(shí)生效。默認(rèn)情況下，當(dāng)采用Fusion Engine時(shí)，該功能將處于啟用狀態(tài)，其非堆內(nèi)存默認(rèn)設(shè)置為1 GB。
Spark配置
填寫Spark配置信息，默認(rèn)以空格符分隔，例如，
spark.sql.catalog.paimon.metastore dlf。單擊新建SQL會(huì)話操作列的啟動(dòng)。
相關(guān)文檔
隊(duì)列相關(guān)的操作，請(qǐng)參見管理資源隊(duì)列。
會(huì)話支持的角色及權(quán)限，請(qǐng)參見管理用戶和角色。
SQL任務(wù)完整的開發(fā)流程示例，請(qǐng)參見SQL開發(fā)快速入門。