新建BLINK_SQL任務(wù)
本文為您介紹如何基于Alibaba Blink實(shí)時(shí)引擎創(chuàng)建BLINK_SQL任務(wù)。
前提條件
在開(kāi)始執(zhí)行操作前,請(qǐng)確認(rèn)項(xiàng)目已開(kāi)啟實(shí)時(shí)引擎并已配置Alibaba Blink計(jì)算源。具體操作,請(qǐng)參見(jiàn)創(chuàng)建通用項(xiàng)目。
權(quán)限說(shuō)明
僅支持超級(jí)管理員、項(xiàng)目管理員和開(kāi)發(fā)者創(chuàng)建BLINK_SQL計(jì)算任務(wù)。
步驟一:新建BLINK_SQL任務(wù)
在Dataphin首頁(yè),單擊頂部菜單欄研發(fā)。
按照下圖操作指引,進(jìn)入新建BLINK_SQL對(duì)話框。
在新建BLINK_SQL對(duì)話框,配置參數(shù)。
參數(shù)
說(shuō)明
任務(wù)名稱
名稱的命名規(guī)則如下:
只能包含小寫英文字母、數(shù)字、下劃線(_)。
名稱的長(zhǎng)度范圍為3~62個(gè)字符。
項(xiàng)目?jī)?nèi)的名稱不支持重復(fù)。
名稱僅支持以英文字母開(kāi)頭。
資源隊(duì)列
選擇該項(xiàng)目所綁定實(shí)時(shí)計(jì)算源中的資源隊(duì)列。
引擎版本
選擇當(dāng)前資源隊(duì)列所支持的版本。
存儲(chǔ)目錄
默認(rèn)為代碼管理,您也可以創(chuàng)建存儲(chǔ)目錄。
創(chuàng)建方式
支持空白新建和使用模板。
空白新建:創(chuàng)建普通空白的FLINK_SQL任務(wù)。
使用模板:基于實(shí)時(shí)計(jì)算任務(wù)模板快速新建任務(wù)。
描述
填寫簡(jiǎn)單的描述,1000個(gè)字符以內(nèi)。
步驟二:開(kāi)發(fā)BLINK_SQL任務(wù)代碼
在BLINK_SQL任務(wù)代碼頁(yè)面,編寫任務(wù)的代碼。
說(shuō)明您可以單擊頁(yè)面右上方的按鈕,系統(tǒng)自動(dòng)調(diào)整SQL代碼格式。
Dataphin支持原生DDL語(yǔ)句快速創(chuàng)建元表。當(dāng)前Dataphin識(shí)別到原生
create table/create temporary table
語(yǔ)句時(shí),您可以單擊編輯器提示圖標(biāo),快速創(chuàng)建元表。具體操作,請(qǐng)參見(jiàn)Flink_SQL任務(wù)開(kāi)發(fā)方式。
單擊頁(yè)面左上方的預(yù)編譯,校驗(yàn)代碼任務(wù)的語(yǔ)法及權(quán)限問(wèn)題。
說(shuō)明預(yù)編譯成功,在頁(yè)面上方出現(xiàn)彈窗。
預(yù)編譯失敗,在頁(yè)面上方出現(xiàn)彈窗,單擊頁(yè)面底部Console,查看預(yù)編譯失敗日志。
步驟三:配置BLINK_SQL任務(wù)
單擊編輯器側(cè)邊欄配置。
在配置對(duì)話框中,配置BLINK_SQL任務(wù)實(shí)時(shí)模式和離線模式的相關(guān)配置信息。
說(shuō)明Dataphin實(shí)時(shí)計(jì)算支持流批一體任務(wù),使用統(tǒng)一的流批計(jì)算引擎,在一份代碼上可同時(shí)配置流+批(實(shí)時(shí)模式+離線模式)的任務(wù)配置,基于同一份代碼生成不同模式下的實(shí)例。開(kāi)啟批處理需在任務(wù)配置頁(yè)面開(kāi)啟離線模式并進(jìn)行資源、調(diào)度依賴等相關(guān)配置。
實(shí)時(shí)模式
資源配置(必選):配置任務(wù)對(duì)應(yīng)的資源隊(duì)列、引擎版本以及任務(wù)的并行度、Task Manager數(shù)量、Job Manager Memory和Task Manager Memory信息。配置說(shuō)明,請(qǐng)參見(jiàn)配置Alibaba Blink實(shí)時(shí)模式資源。
時(shí)間參數(shù):用于配置實(shí)時(shí)計(jì)算任務(wù)的運(yùn)行時(shí)間偏移。配置說(shuō)明,請(qǐng)參見(jiàn)實(shí)時(shí)模式時(shí)間參數(shù)配置。
Checkpoint配置:配置Flink SQL任務(wù)的Checkpoint,可有效的幫助當(dāng)前Flink SQL任務(wù)運(yùn)行意外崩潰后,重新運(yùn)行程序時(shí)恢復(fù)到崩潰前的狀態(tài)。配置說(shuō)明,實(shí)時(shí)模式Checkpoint配置。
State配置:配置State中數(shù)據(jù)自動(dòng)清理的周期。配置說(shuō)明,實(shí)時(shí)模式State配置。
運(yùn)行參數(shù):可以通過(guò)配置運(yùn)行參數(shù),控制Flink應(yīng)用程序的執(zhí)行行為和性能。配置說(shuō)明,請(qǐng)參見(jiàn)實(shí)時(shí)模式運(yùn)行參數(shù)配置。
依賴文件:配置任務(wù)依賴的資源文件。配置說(shuō)明,請(qǐng)參見(jiàn)實(shí)時(shí)模式依賴文件配置。
依賴關(guān)系:配置依賴關(guān)系可幫助排查調(diào)試時(shí)快速了解數(shù)據(jù)的上下游任務(wù)。配置說(shuō)明,請(qǐng)參見(jiàn)實(shí)時(shí)模式依賴關(guān)系配置。
離線模式(Bate)
調(diào)度配置(必選):調(diào)度配置用于定義節(jié)點(diǎn)在生產(chǎn)環(huán)境的周期調(diào)度方式。您可以通過(guò)調(diào)度配置中調(diào)度屬性,配置任務(wù)調(diào)度周期與生效日期等。配置說(shuō)明,請(qǐng)參見(jiàn)離線模式調(diào)度配置。
資源配置(必選):配置任務(wù)對(duì)應(yīng)的資源隊(duì)列及引擎版本。配置說(shuō)明,請(qǐng)參見(jiàn)配置Alibaba Blink離線模式資源。
運(yùn)行參數(shù):可以通過(guò)配置運(yùn)行參數(shù),控制Flink應(yīng)用程序的執(zhí)行行為和性能。配置說(shuō)明,請(qǐng)參見(jiàn)離線模式運(yùn)行參數(shù)配置。
依賴文件:配置Flink SQL任務(wù)依賴的資源文件。配置說(shuō)明,請(qǐng)參見(jiàn)離線模式依賴文件配置。
依賴關(guān)系(必選):配置依賴關(guān)系可幫助排查調(diào)試時(shí)快速了解數(shù)據(jù)的上下游任務(wù)。離線模式依賴關(guān)系配置。
單擊確定。
步驟四:調(diào)試BLINK_SQL任務(wù)代碼(可選)
Dataphin支持調(diào)試已開(kāi)發(fā)的BLINK_SQL代碼。單擊頁(yè)面右上方的調(diào)試按鈕,可以對(duì)代碼任務(wù)采樣數(shù)據(jù)并進(jìn)行本地調(diào)試,保障代碼任務(wù)的正確性。同時(shí)支持實(shí)時(shí)模式調(diào)試和離線模式調(diào)試。
當(dāng)前僅支持單種模式調(diào)試,選擇模式后請(qǐng)采樣對(duì)應(yīng)模式表數(shù)據(jù)進(jìn)行調(diào)試。
實(shí)時(shí)模式調(diào)試:采樣對(duì)應(yīng)的實(shí)時(shí)物理數(shù)據(jù),完成數(shù)據(jù)采樣后將在Flink Stream模式下進(jìn)行本地調(diào)試。具體操作,請(qǐng)參見(jiàn)實(shí)時(shí)模式調(diào)試。
離線模式調(diào)試:采取對(duì)應(yīng)的離線物理表數(shù)據(jù),完成數(shù)據(jù)采樣后將在Flink Batch模式下進(jìn)行本地調(diào)試。具體操作,請(qǐng)參見(jiàn)離線模式調(diào)試。
步驟五:提交BLINK_SQL任務(wù)
單擊頁(yè)面左上方的按鈕,并在提交備注對(duì)話框中填寫備注信息。
單擊確定并提交。
說(shuō)明如果項(xiàng)目的模式為Dev-Prod,則您需要發(fā)布Flink SQL任務(wù)至生產(chǎn)環(huán)境。具體操作,請(qǐng)參見(jiàn)管理發(fā)布任務(wù)。
后續(xù)步驟
在運(yùn)維中心查看并運(yùn)維BLINK_SQL任務(wù),保證任務(wù)的正常運(yùn)行。具體操作,請(qǐng)參見(jiàn)查看并管理實(shí)時(shí)任務(wù)。