日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

JAR開發(fā)快速入門

您可以自行編寫并構(gòu)建包含業(yè)務(wù)邏輯的JAR包,上傳此業(yè)務(wù)JAR包后,即可便捷地開發(fā)Spark JAR。本文通過一個示例,為您演示如何進(jìn)行JAR任務(wù)的開發(fā)與部署。

前提條件

  • 已創(chuàng)建工作空間,詳情請參見管理工作空間

  • 已提前完成業(yè)務(wù)應(yīng)用程序開發(fā),并構(gòu)建好JAR包。

操作步驟

步驟一:開發(fā)JAR包

在EMR Serverless Spark中,不直接提供集成的JAR包開發(fā)環(huán)境,因此需要您在本地或獨立的開發(fā)平臺上完成Spark應(yīng)用的編碼和打包成JAR文件。本快速入門旨在帶您快速熟悉JAR任務(wù),為您提供了工程文件以及測試JAR包,您可以直接下載以備后續(xù)步驟使用。

單擊spark-examples_2.12-3.3.1.jar,直接下載測試JAR包。

說明

該JAR包是Spark自帶的一個簡單示例,用于計算圓周率π的值。

步驟二:上傳JAR包

  1. 進(jìn)入資源上傳頁面。

    1. 登錄E-MapReduce控制臺

    2. 在左側(cè)導(dǎo)航欄,選擇EMR Serverless > Spark

    3. Spark頁面,單擊目標(biāo)工作空間名稱。

    4. 在EMR Serverless Spark頁面,單擊左側(cè)導(dǎo)航欄中的文件管理

  2. 文件管理頁面,單擊上傳文件

  3. 上傳文件對話框中,單擊待上傳文件區(qū)域選擇本地JAR包,或者直接拖拽JAR包到待上傳文件區(qū)域。

    本文示例是上傳spark-examples_2.12-3.3.1.jar。

步驟三:開發(fā)并運行任務(wù)

  1. 在EMR Serverless Spark頁面,單擊左側(cè)的數(shù)據(jù)開發(fā)

  2. 單擊新建

  3. 輸入名稱,類型選擇Application(批任務(wù)) > JAR,然后單擊確定

  4. 在右上角選擇隊列。

    添加隊列的具體操作,請參見管理資源隊列

  5. 在新建的任務(wù)開發(fā)中,配置以下信息,其余參數(shù)無需配置,然后單擊運行

    參數(shù)

    說明

    主jar資源

    選擇前一個步驟中上傳的JAR包。本文示例是spark-examples_2.12-3.3.1.jar。

    Main Class

    提交Spark任務(wù)時所指定的主類。本文示例填寫為org.apache.spark.examples.SparkPi

  6. 運行任務(wù)后,在下方的運行記錄區(qū)域,單擊任務(wù)操作列的詳情

  7. 任務(wù)歷史中的開發(fā)任務(wù)頁面,您可以查看相關(guān)的日志信息。

    image

步驟四:發(fā)布任務(wù)

重要

已發(fā)布的任務(wù)可以作為工作流節(jié)點的任務(wù)。

  1. 任務(wù)運行完成后,單擊右側(cè)的發(fā)布

  2. 在彈出的對話框中,可以輸入發(fā)布信息,然后單擊確定

(可選)步驟五:查看Spark UI

任務(wù)正常運行后,您可以在Spark UI上查看任務(wù)的運行情況。

  1. 在左側(cè)導(dǎo)航欄,單擊任務(wù)歷史

  2. 單擊開發(fā)任務(wù)

  3. 開發(fā)任務(wù)頁面,單擊目標(biāo)任務(wù)操作列的詳情

  4. 任務(wù)總覽頁簽,單擊Spark UI。

    image

  5. 將自動打開Spark UI頁面,可查看任務(wù)詳情。

    image

相關(guān)文檔

任務(wù)發(fā)布完成后,您可以在工作流調(diào)度中使用,詳情請參見管理工作流。任務(wù)編排完整的開發(fā)流程示例,請參見SQL開發(fā)快速入門