背景信息

Lindorm計(jì)算引擎是基于云原生架構(gòu)的分布式計(jì)算服務(wù)，支持社區(qū)版計(jì)算模型、兼容Spark接口、深度融合Lindorm存儲(chǔ)引擎特性；能夠利用底層數(shù)據(jù)存儲(chǔ)特征及索引能力，高效地完成分布式作業(yè)任務(wù)；可用于海量數(shù)據(jù)生產(chǎn)、交互式分析、計(jì)算學(xué)習(xí)和圖計(jì)算等場(chǎng)景。

前提條件

在DataWorks基于Lindorm計(jì)算引擎進(jìn)行任務(wù)開發(fā)前，您需完成以下操作：

• 已創(chuàng)建Lindorm實(shí)例并開通Lindorm計(jì)算引擎。DataWorks需基于該引擎執(zhí)行相關(guān)任務(wù)開發(fā)操作。詳情請(qǐng)參見開通計(jì)算引擎。

• 已創(chuàng)建CDH集群并注冊(cè)至DataWorks。DataWorks通過注冊(cè)CDH集群的方式，訪問Lindorm計(jì)算引擎數(shù)據(jù)。詳情請(qǐng)參見注冊(cè)CDH或CDP集群至DataWorks。

  注冊(cè)CDH集群時(shí)，集群連接信息需要配置為L(zhǎng)indorm計(jì)算引擎的鏈接信息，且集群版本選擇為6.3.2版本，您只需正確填寫HiveServer2以及Metastore的配置信息即可，其他配置可以留空。

  說明

  若您希望將作業(yè)提交至特定的Lindorm資源組，可執(zhí)行如下操作：

  1. 在登錄Lindorm管理控制臺(tái)。創(chuàng)建ETL資源組（名稱例如：mycomputegroup）。操作詳情請(qǐng)參見創(chuàng)建和管理資源組。

  2. 在DataWorks注冊(cè)計(jì)算引擎時(shí)，JDBC地址（即HiveServer2參數(shù)的輸入內(nèi)容）后需添加參數(shù)compute-group=<compute_group_name>。例如，jdbc:hive2://ld-abcd123xyz-proxy-ldps.lindorm.aliyuncs.com:10009/;?token=aaaa-bbb-ccc-ddd;compute-group=mycomputegroup。

• 已創(chuàng)建業(yè)務(wù)流程。DataWorks的數(shù)據(jù)開發(fā)（DataStudio）基于業(yè)務(wù)流程執(zhí)行不同引擎的具體開發(fā)操作，您可在業(yè)務(wù)流程中按需編排任務(wù)流，以直觀查看任務(wù)間的依賴關(guān)系。詳情請(qǐng)參見創(chuàng)建業(yè)務(wù)流程。

步驟一：開發(fā)Lindorm計(jì)算引擎任務(wù)

本文為您介紹使用SQL方式及JAR方式進(jìn)行任務(wù)開發(fā)。

# 在Lindorm服務(wù)上提交一個(gè)作業(yè)。
curl --location --request POST 'http://ld-uf6y6d74hooeb****-proxy-ldps.lindorm.aliyuncs.com:10099/api/v1/lindorm/jobs/xxxxxx' --header 'Content-Type:application/json' --data '{
"owner":"root",
"name":"LindormSQL",
"mainResourceKind":"jar",
"mainClass":"your_project_main_class",
"mainResource":"hdfs:///ldps-user-resource/ldps-ldps-lindorm-spark-examples-1.0-SNAPSHOT.jar",
"mainArgs":[],
"conf":{
    }
}' 

步驟二：配置任務(wù)調(diào)度

如您需周期性執(zhí)行創(chuàng)建的節(jié)點(diǎn)任務(wù)，可單擊節(jié)點(diǎn)編輯頁面右側(cè)的調(diào)度配置，根據(jù)業(yè)務(wù)需求配置該節(jié)點(diǎn)任務(wù)的調(diào)度信息。詳情請(qǐng)參見任務(wù)調(diào)度屬性配置概述。

步驟三：調(diào)試任務(wù)代碼

根據(jù)需要執(zhí)行如下操作，查看任務(wù)是否符合預(yù)期。

1. （可選）選擇運(yùn)行資源組、賦值自定義參數(shù)取值。

   • 單擊工具欄的圖標(biāo)，在參數(shù)對(duì)話框選擇調(diào)試運(yùn)行需使用的調(diào)度資源組。

   • 如您的任務(wù)代碼中有使用調(diào)度參數(shù)變量，可在此處為變量賦值，用于調(diào)試。參數(shù)賦值邏輯，詳情請(qǐng)參見任務(wù)調(diào)試流程。

2. 保存并運(yùn)行任務(wù)代碼。

   單擊工具欄的圖標(biāo)，保存編寫的任務(wù)代碼，單擊圖標(biāo)，運(yùn)行創(chuàng)建的任務(wù)。

3. （可選）冒煙測(cè)試。

   如您希望在開發(fā)環(huán)境進(jìn)行冒煙測(cè)試，查看調(diào)度節(jié)點(diǎn)任務(wù)的執(zhí)行是否符合預(yù)期，則可在節(jié)點(diǎn)提交時(shí)，或節(jié)點(diǎn)提交后執(zhí)行冒煙測(cè)試，操作詳情請(qǐng)參見執(zhí)行冒煙測(cè)試。

步驟四：提交發(fā)布任務(wù)

節(jié)點(diǎn)任務(wù)配置完成后，需執(zhí)行提交發(fā)布操作，提交發(fā)布后，節(jié)點(diǎn)會(huì)根據(jù)調(diào)度配置內(nèi)容進(jìn)行周期性運(yùn)行。

1. 單擊工具欄中的圖標(biāo)，保存節(jié)點(diǎn)。

2. 單擊工具欄中的圖標(biāo)，提交節(jié)點(diǎn)任務(wù)。

   提交時(shí)需在提交對(duì)話框中輸入變更描述，并根據(jù)需要選擇是否在節(jié)點(diǎn)提交后執(zhí)行代碼評(píng)審。

   說明

   • 您需設(shè)置節(jié)點(diǎn)的重跑屬性和依賴的上游節(jié)點(diǎn)，才可提交節(jié)點(diǎn)。

   • 代碼評(píng)審可對(duì)任務(wù)的代碼質(zhì)量進(jìn)行把控，防止由于任務(wù)代碼有誤，未經(jīng)審核直接發(fā)布上線后出現(xiàn)任務(wù)報(bào)錯(cuò)。如進(jìn)行代碼評(píng)審，則提交的節(jié)點(diǎn)代碼必須通過評(píng)審人員的審核才可發(fā)布，詳情請(qǐng)參見代碼評(píng)審。

如您使用的是標(biāo)準(zhǔn)模式的工作空間，任務(wù)提交成功后，需單擊節(jié)點(diǎn)編輯頁面右上方的發(fā)布，將該任務(wù)發(fā)布至生產(chǎn)環(huán)境執(zhí)行，操作請(qǐng)參見發(fā)布任務(wù)。

后續(xù)操作