本文介紹Lindorm計算引擎JAR作業開發的詳細步驟。
前提條件
步驟一:依賴配置
Lindorm計算引擎JAR作業依賴社區版Spark 3.2.1版本,并且需要將scope
字段配置為provided
。示例如下:
<!-- Example -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.2.1</version>
<scope>provided</scope>
</dependency>
步驟二:權限配置
如果您需要通過Spark SQL的方式訪問Lindorm寬表引擎數據,訪問方法請參見訪問寬表數據,并且需要配置用戶名密碼,代碼示例如下:
SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");
參數 | 參數值 | 說明 |
spark.sql.catalog.lindorm_table.username | 默認用戶名root。 | 訪問Lindorm寬表引擎的用戶名。 |
spark.sql.catalog.lindorm_table.password | 默認密碼root。 | 訪問Lindorm寬表引擎的密碼。 |
步驟三:參數配置
Lindorm計算引擎提供的配置項和配置方法請參見作業配置說明。
步驟四:代碼示例
JAR作業代碼開發方式完全兼容社區版Spark 3.2.1版本,代碼示例請參見Spark作業示例。
步驟五:作業提交
文檔內容是否對您有幫助?