日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

JAR作業開發實踐

本文介紹Lindorm計算引擎JAR作業開發的詳細步驟。

前提條件

  • 已創建并開通Lindorm實例的寬表引擎,具體操作請參見創建實例

  • 已開通Lindorm實例的計算引擎服務,具體操作請參見開通與變配

  • 已安裝Java環境,要求使用JDK 1.8及以上版本。

步驟一:依賴配置

Lindorm計算引擎JAR作業依賴社區版Spark 3.2.1版本,并且需要將scope字段配置為provided。示例如下:

<!-- Example -->
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>3.2.1</version>
  <scope>provided</scope>
</dependency>

步驟二:權限配置

如果您需要通過Spark SQL的方式訪問Lindorm寬表引擎數據,訪問方法請參見訪問寬表數據,并且需要配置用戶名密碼,代碼示例如下:

SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");

參數

參數值

說明

spark.sql.catalog.lindorm_table.username

默認用戶名root。

訪問Lindorm寬表引擎的用戶名。

spark.sql.catalog.lindorm_table.password

默認密碼root。

訪問Lindorm寬表引擎的密碼。

步驟三:參數配置

Lindorm計算引擎提供的配置項和配置方法請參見作業配置說明

步驟四:代碼示例

JAR作業代碼開發方式完全兼容社區版Spark 3.2.1版本,代碼示例請參見Spark作業示例

步驟五:作業提交

Lindorm計算引擎支持以下兩種方式提交并管理作業。