Spark開發(fā)編輯器
本文介紹如何在云原生數(shù)據(jù)倉庫 AnalyticDB MySQL 版控制臺(tái)創(chuàng)建和執(zhí)行Spark應(yīng)用。
功能說明
通過Spark開發(fā)編輯器創(chuàng)建和執(zhí)行Spark離線應(yīng)用或流應(yīng)用。
查看當(dāng)前Spark應(yīng)用Driver的日志和應(yīng)用提交時(shí)的相關(guān)信息。
查看SQL語句的執(zhí)行日志。
前提條件
集群的產(chǎn)品系列為企業(yè)版、基礎(chǔ)版或湖倉版。
已在企業(yè)版、基礎(chǔ)版或湖倉版集群中創(chuàng)建Job型資源組。具體操作，請(qǐng)參見新建資源組。
已為RAM用戶授權(quán)。具體操作，請(qǐng)參見為RAM子賬號(hào)授權(quán)。
已創(chuàng)建AnalyticDB for MySQL集群的數(shù)據(jù)庫賬號(hào)。
如果是通過阿里云賬號(hào)訪問，只需創(chuàng)建高權(quán)限賬號(hào)。具體操作，請(qǐng)參見創(chuàng)建高權(quán)限賬號(hào)。
如果是通過RAM用戶訪問，需要?jiǎng)?chuàng)建高權(quán)限賬號(hào)和普通賬號(hào)并且將RAM用戶綁定到普通賬號(hào)上。具體操作，請(qǐng)參見創(chuàng)建數(shù)據(jù)庫賬號(hào)和綁定或解綁RAM用戶與數(shù)據(jù)庫賬號(hào)。
已授權(quán)AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色來訪問其他云資源。具體操作，請(qǐng)參見賬號(hào)授權(quán)。
已配置Spark應(yīng)用的日志存儲(chǔ)地址。
說明登錄云原生數(shù)據(jù)倉庫AnalyticDB MySQL控制臺(tái)，在頁面，單擊日志配置，選擇默認(rèn)路徑或自定義存儲(chǔ)路徑。自定義存儲(chǔ)路徑時(shí)不能將日志保存在OSS的根目錄下，請(qǐng)確保該路徑中至少包含一層文件夾。
創(chuàng)建和執(zhí)行Spark應(yīng)用
登錄云原生數(shù)據(jù)倉庫AnalyticDB MySQL控制臺(tái)，在左上角選擇集群所在地域。在左側(cè)導(dǎo)航欄，單擊集群列表，在企業(yè)版、基礎(chǔ)版或湖倉版頁簽下，單擊目標(biāo)集群ID。
在左側(cè)導(dǎo)航欄，單擊。
在Spark Jar開發(fā)頁面，單擊應(yīng)用列表右側(cè)的
。在創(chuàng)建應(yīng)用頁面，按照頁面提示進(jìn)行參數(shù)配置。
參數(shù)名稱
參數(shù)說明
名稱
設(shè)置應(yīng)用和目錄的名字。文件名稱不區(qū)分大小寫。
類型
選擇應(yīng)用時(shí)，模板類型為文件。
選擇目錄時(shí)，模板類型為文件夾。
父級(jí)
設(shè)置文件或者文件夾的上層目錄。
作業(yè)類型
Batch：離線應(yīng)用。
Streaming：流應(yīng)用。
SQL Engine：Spark distributed SQL Engine。
完成上述參數(shù)配置后，單擊確定創(chuàng)建應(yīng)用模板。
創(chuàng)建Spark模板文件后，您可以在Spark開發(fā)編輯器中配置Spark應(yīng)用。如何配置Spark應(yīng)用，請(qǐng)參見Spark應(yīng)用開發(fā)介紹。
Spark應(yīng)用配置編寫完成后，您可以進(jìn)行以下操作。
單擊保存，保存Spark應(yīng)用，便于后續(xù)復(fù)用應(yīng)用。
單擊立即執(zhí)行，執(zhí)行Spark應(yīng)用，應(yīng)用列表會(huì)實(shí)時(shí)顯示執(zhí)行狀態(tài)。
在執(zhí)行Spark應(yīng)用前，需要選擇Job型資源組和應(yīng)用類型。
查看Spark應(yīng)用信息
在應(yīng)用列表頁簽中，搜索應(yīng)用ID，執(zhí)行以下操作，查看目標(biāo)Spark應(yīng)用信息。
日志：查看當(dāng)前Spark應(yīng)用Driver的日志或SQL語句的執(zhí)行日志。
UI：跳轉(zhuǎn)到對(duì)應(yīng)的Spark UI。UI自身有訪問有效期限制，過期后需要重新進(jìn)入。
詳情：當(dāng)前應(yīng)用提交時(shí)的相關(guān)信息。如日志地址、Web UI地址、集群ID、資源組名稱等。
停止：終止當(dāng)前運(yùn)行中的應(yīng)用。
歷史：查看當(dāng)前應(yīng)用的重試列表。
在執(zhí)行歷史頁簽中，查看所有應(yīng)用的重試列表。
說明默認(rèn)情況下，一個(gè)應(yīng)用失敗后不會(huì)進(jìn)行重試。如需進(jìn)行重試，請(qǐng)配置重試參數(shù)（spark.adb.maxAttempts和spark.adb.attemptFailuresValidityInterval）。更多信息，請(qǐng)參見Spark應(yīng)用配置參數(shù)說明中的配置參數(shù)說明。