創(chuàng)建數(shù)據(jù)庫(kù)SQL任務(wù)
本文為您介紹如何基于Dataphin新建數(shù)據(jù)庫(kù)SQL任務(wù)。
使用限制
支持存儲(chǔ)過(guò)程的創(chuàng)建及執(zhí)行,但是Dataphin系統(tǒng)將不做語(yǔ)法校驗(yàn)及解析。
執(zhí)行數(shù)據(jù)庫(kù)SQL需要獲取數(shù)據(jù)源的執(zhí)行權(quán)限,不支持表級(jí)權(quán)限校驗(yàn)。更多信息,請(qǐng)參見(jiàn)申請(qǐng)、續(xù)期和交還數(shù)據(jù)源權(quán)限。
不支持基于MySQL、Oracle數(shù)據(jù)源SQL數(shù)據(jù)更新觸發(fā)調(diào)度數(shù)據(jù)源質(zhì)量規(guī)則。更多信息,請(qǐng)參見(jiàn)創(chuàng)建Dataphin表質(zhì)量規(guī)則。
查詢結(jié)果不支持全量下載,僅支持下載樣例數(shù)據(jù)。
離線計(jì)算模板節(jié)點(diǎn)類型不支持?jǐn)?shù)據(jù)庫(kù)SQL。
在Dev-Prod模式的項(xiàng)目下使用僅配置了生產(chǎn)環(huán)境的數(shù)據(jù)源,在開(kāi)發(fā)環(huán)境下進(jìn)行補(bǔ)數(shù)據(jù)或運(yùn)行操作可能變更生產(chǎn)數(shù)據(jù),請(qǐng)謹(jǐn)慎使用。
操作步驟
在Dataphin首頁(yè)的頂部菜單欄中,選擇研發(fā) > 數(shù)據(jù)研發(fā)。
在開(kāi)發(fā)頁(yè)面的頂部菜單欄選擇項(xiàng)目(Dev-Prod模式需要選擇環(huán)境)。
在左側(cè)導(dǎo)航欄中選擇數(shù)據(jù)處理 > 計(jì)算任務(wù),在計(jì)算任務(wù)列表中單擊圖標(biāo),選擇數(shù)據(jù)庫(kù)SQL。
在新建數(shù)據(jù)庫(kù)SQL任務(wù)對(duì)話框中,配置以下參數(shù)。
參數(shù)
描述
基本信息
任務(wù)名稱
填寫代碼任務(wù)的名稱。
長(zhǎng)度不超過(guò)256個(gè)字符,不支持豎線(|)、正斜線(/)、反斜線(\)、半角冒號(hào)(:)、半角問(wèn)號(hào)(?)、尖括號(hào)(<>)、星號(hào)(*)和半角引號(hào)(")。
調(diào)度類型
選擇任務(wù)的調(diào)度類型。調(diào)度類型包括:
周期任務(wù):自動(dòng)參與系統(tǒng)的周期性調(diào)度。
手動(dòng)任務(wù):需要手動(dòng)觸發(fā)任務(wù)的運(yùn)行。
選擇目錄
選擇任務(wù)所存放的目錄。
若未創(chuàng)建目錄,您可以新建文件夾,操作方法如下:
在頁(yè)面左側(cè)計(jì)算任務(wù)列表上方單擊圖標(biāo),打開(kāi)新建文件夾對(duì)話框。
在新建文件夾對(duì)話框中輸入文件夾名稱并根據(jù)需要選擇目錄位置。
單擊確定。
描述
填寫任務(wù)的簡(jiǎn)單描述,1000個(gè)字符以內(nèi)。
數(shù)據(jù)源配置
數(shù)據(jù)源類型
選擇SQL任務(wù)的數(shù)據(jù)源類型。支持MySQL、Oracle、AnalyticDB for PostgreSQL、Presto、StarRocks、ClickHouse和PostgreSQL數(shù)據(jù)源。
數(shù)據(jù)源
選擇SQL任務(wù)的數(shù)據(jù)源。若無(wú)可選數(shù)據(jù)源,可以單擊+新建數(shù)據(jù)源進(jìn)行創(chuàng)建。
Catalog
數(shù)據(jù)源類型為Presto時(shí),配置數(shù)據(jù)源后,還需要配置Catalog。
Schema
數(shù)據(jù)源類型為AnalyticDB for PostgreSQL、Oracle、Presto時(shí),配置數(shù)據(jù)源后,還需要配置Schema。
單擊確定。
在當(dāng)前數(shù)據(jù)庫(kù)SQL任務(wù)頁(yè)簽下的代碼編輯區(qū)域,編寫數(shù)據(jù)庫(kù)SQL離線計(jì)算任務(wù)的代碼。代碼編輯完成后,單擊代碼編輯區(qū)域上方的運(yùn)行。
單擊頁(yè)面右側(cè)邊欄的屬性,在屬性面板中配置任務(wù)的基本信息、運(yùn)行參數(shù)、調(diào)度屬性(周期任務(wù))、調(diào)度依賴(周期任務(wù))、運(yùn)行配置、資源配置。
基本信息
用于定義調(diào)度任務(wù)的名稱、對(duì)應(yīng)責(zé)任人、描述等基本信息。配置說(shuō)明,請(qǐng)參見(jiàn)配置任務(wù)基本信息。
運(yùn)行參數(shù)
若您的任務(wù)中調(diào)用了參數(shù)變量,您可在屬性中對(duì)參數(shù)進(jìn)行賦值,從而支持節(jié)點(diǎn)調(diào)度時(shí),參數(shù)變量可以自動(dòng)被替換為相應(yīng)的變量值。配置說(shuō)明,請(qǐng)參見(jiàn)配置離線任務(wù)運(yùn)行參數(shù)。
調(diào)度屬性(周期任務(wù))
如果離線計(jì)算任務(wù)的調(diào)度類型為周期任務(wù),除了基本信息外,還需要配置任務(wù)的調(diào)度屬性。配置說(shuō)明,請(qǐng)參見(jiàn)離線任務(wù)調(diào)度屬性配置。
調(diào)度依賴(周期任務(wù))
如果離線計(jì)算任務(wù)的調(diào)度類型為周期任務(wù),除了基本信息外,還需要配置任務(wù)的調(diào)度依賴。配置說(shuō)明,請(qǐng)參見(jiàn)配置離線任務(wù)調(diào)度依賴。
重要系統(tǒng)自動(dòng)依賴解析可能不準(zhǔn)確,請(qǐng)根據(jù)代碼確認(rèn)。
運(yùn)行配置
您可根據(jù)業(yè)務(wù)場(chǎng)景為離線計(jì)算任務(wù)配置任務(wù)級(jí)的運(yùn)行超時(shí)時(shí)間和任務(wù)運(yùn)行失敗時(shí)的重跑策略。未配置則默認(rèn)繼承租戶級(jí)設(shè)置的默認(rèn)值。配置說(shuō)明,請(qǐng)參見(jiàn)計(jì)算任務(wù)運(yùn)行配置。
資源配置
任務(wù)生成的實(shí)例調(diào)度所消耗的資源,不同資源組之間資源相互隔離互不影響。數(shù)據(jù)庫(kù)SQL為共享資源任務(wù),不支持指定自定義資源組。配置說(shuō)明,請(qǐng)參見(jiàn)計(jì)算任務(wù)資源配置。
在當(dāng)前數(shù)據(jù)庫(kù)SQL任務(wù)頁(yè)簽下,保存并提交當(dāng)前任務(wù)。
單擊代碼編輯區(qū)域上方的圖標(biāo),保存代碼。
單擊代碼編輯區(qū)域上方的圖標(biāo),提交代碼。
在提交詳情頁(yè)面中,需確認(rèn)提交內(nèi)容和前置檢查的結(jié)果,并填寫備注信息。更多信息,請(qǐng)參見(jiàn)離線計(jì)算任務(wù)提交說(shuō)明。
確認(rèn)完成后,單擊確定并提交。
后續(xù)步驟
如果您的開(kāi)發(fā)模式是Dev-Prod模式,任務(wù)提交成功后還需前往發(fā)布列表,將任務(wù)發(fā)布至生產(chǎn)環(huán)境。更多信息,請(qǐng)參見(jiàn)管理發(fā)布任務(wù)。
如果您的開(kāi)發(fā)模式是Basic模式,則提交成功后的數(shù)據(jù)庫(kù)SQL任務(wù),即可參與生產(chǎn)環(huán)境的調(diào)度。您可前往運(yùn)維中心查看您發(fā)布的任務(wù)。更多信息,請(qǐng)參見(jiàn)查看并管理腳本任務(wù)、查看并管理手動(dòng)任務(wù)。