使用限制

當前僅支持在Notebook會話資源中使用運行環境。

創建運行環境

1. 進入運行環境管理頁面。

   1. 登錄E-MapReduce控制臺。

   2. 在左側導航欄，選擇EMR Serverless > Spark。

   3. 在Spark頁面，單擊目標工作空間名稱。

   4. 在EMR Serverless Spark頁面，選擇左側導航欄中的運行環境管理。

2. 單擊創建運行環境。

3. 在創建運行環境頁面，配置以下參數。

   參數	說明
   名稱	填寫運行環境的名稱。
   描述	填寫該環境的描述。
   部署隊列	選擇初始化環境所需的隊列。創建運行環境時，將占用該隊列1Core 4 GB資源用于初始化環境，初始化完成后，資源將自動釋放。

4. 添加庫信息。

   1. 單擊添加庫。

   2. 在新建庫中，選擇來源類型，配置相關的參數，然后單擊確定。

      參數	說明
      PyPI	在PyPI Package中填寫庫的名稱及版本，不指定版本時，默認安裝最新版本。默認使用阿里云源地址。 例如，Plotly或Plotly==4.9.0。
      工作空間資源	在工作空間資源下拉列表中，選擇當前工作空間的文件資源。如果沒有可選的資源，請在文件管理頁面上傳。 支持的文件類型：.zip、.tar、.whl、.tar.gz、.jar。
      OSS資源	在OSS資源中，填寫在阿里云OSS中存儲的文件路徑。 支持的文件類型：.zip、.tar、.whl、.tar.gz、.jar。

5. 單擊創建。

   創建后將開始初始化環境。

編輯運行環境

如果您需要更新運行環境，可以使用編輯功能對運行環境中包含的庫進行更新。

1. 在運行環境管理頁面，單擊目標運行環境操作列的編輯。

2. 在編輯運行環境頁面，您可以更新運行環境配置項。

3. 單擊保存更改。

   保存更改后將基于當前配置重新初始化環境。

   說明

   重新初始化環境后，變更不會立即在已使用該環境的Notebook會話中生效。如需在Notebook會話中使用最新的運行環境，請重啟Notebook會話資源。

使用運行環境

一旦創建的運行環境處于就緒狀態，即可在數據開發或相應的會話中使用該運行環境。

• PySpark批任務：任務啟動時，系統會根據所選的運行環境預裝必要的庫。

• 任務編排：當在工作流中添加Notebook節點時，可以選擇相應的運行環境。

• Notebook會話：Notebook會話啟動時將按照所選環境預裝庫。

• Livy Gateway：通過Livy Gateway提交任務時，任務運行所需的資源將根據所選環境進行預配置。

• 在使用Apache Airflow和Livy提交任務時，可以通過配置參數--conf spark.emr.serverless.environmentId=<運行環境id>來指定運行環境。