日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

新建FLINK_SQL任務

本文為您介紹如何基于Ververica Flink引擎創建FLINK_SQL任務。

前提條件

在開始執行操作前,請確認項目已開啟實時引擎并已配置Ververica Flink計算源。具體操作,請參見創建通用項目

權限說明

僅支持超級管理員項目管理員開發者創建FLINK_SQL計算任務。

步驟一:新建FLINK_SQL任務

  1. 在Dataphin首頁,單擊頂部菜單欄研發

  2. 按照下圖操作指引,進入新建FLINK_SQL任務對話框。

    image..png

  3. 新建FLINK_SQL任務對話框,配置參數。

    參數

    說明

    任務名稱

    名稱的命名規則如下: 

    • 只能包含小寫英文字母、數字、下劃線(_)。

    • 名稱的長度范圍為3~62個字符。

    • 項目內的名稱不支持重復。

    • 名稱僅支持以英文字母開頭。

    生產環境集群

    選擇FLINK_SQL任務所在集群。

    生產環境引擎版本

    選擇生產環境下任務運行的引擎版本。

    說明

    若您的項目空間為Basic模式,該配置項為引擎版本

    開發環境集群及引擎版本

    支持選擇系統默認配置自行配置

    系統默認配置:默認選擇,使用與生產環境相同的環境集群與引擎版本。

    自行配置:您可自行選擇開發環境任務運行的環境集群及引擎版本。

    說明

    若您的項目空間為Basic模式,則無需配置該配置項。

    存儲目錄

    默認選擇為代碼管理,同時您也可以在計算任務頁面創建目標文件夾后,選擇該目標文件夾為FLINK_SQL任務的目錄。image.png

    創建方式

    支持空白新建引用示例代碼使用模板

    • 空白新建:創建普通空白的FLINK_SQL任務。

    • 引用示例代碼:引用系統內置的示例代碼快速新建任務。

    • 使用模板:基于實時計算任務模板快速新建任務。

    描述

    填寫對FLINK_SQL任務的簡單描述,1000個字符以內。

  4. 單擊確定

步驟二:開發與預編譯FLINK_SQL任務代碼

  1. 在FLINK_SQL任務代碼頁面,編寫任務的代碼。 image

    說明

    您可以單擊頁面右上方的image按鈕,系統自動調整SQL代碼格式。

  2. 單擊頁面左上方的image按鈕,校驗代碼任務的語法及權限問題。

    說明
    1. 預編譯成功,在頁面上方出現1彈窗。

    2. 預編譯失敗,在頁面上方出現2彈窗,單擊頁面底部Console,查看預編譯失敗日志。

步驟三:配置FLINK_SQL任務

  1. 單擊編輯器側邊欄配置

  2. 在配置對話框中,配置FLINK_SQL任務實時模式離線模式的相關配置信息。

    說明

    Dataphin實時計算支持流批一體任務,使用統一的流批計算引擎,在一份代碼上可同時配置流+批的任務配置,基于同一份代碼生成不同模式下的實例。開啟批處理需在任務配置頁面開啟離線模式并進行資源、調度依賴等相關配置。

    image

    • 實時模式

      • 資源配置(必選):配置任務生產環境和開發環境對應的集群、引擎版本以及Job Manager CPUs和Job Manager Memory信息。配置說明,請參見配置Ververica Flink實時模式資源

      • 時間參數:用于配置實時計算任務的運行時間偏移。配置說明,請參見實時模式時間參數配置

      • Checkpoint配置:配置Flink SQL任務的Checkpoint,可有效的幫助當前Flink SQL任務運行意外崩潰后,重新運行程序時恢復到崩潰前的狀態。配置說明,實時模式Checkpoint配置

      • State配置:配置State中數據自動清理的周期。配置說明,實時模式State配置

      • 運行參數:可以通過配置運行參數控制Flink應用程序的執行行為和性能。配置說明,請參見實時模式運行參數配置

      • 依賴文件:配置任務依賴的資源文件。配置說明,請參見實時模式依賴文件配置

      • 依賴關系:配置依賴關系可幫助排查調試時快速了解數據的上下游任務。配置說明,請參見實時模式依賴關系配置

    • 離線模式(Bate)

      • 調度配置(必選):調度配置用于定義節點在生產環境的周期調度方式。您可以通過調度配置中調度屬性,配置任務調度周期與生效日期等。配置說明,請參見離線模式調度配置

      • 資源配置(必選):配置任務生產環境和開發環境對應的集群、引擎版本以及任務的并行度、Task Manager 數量、Job Manager Memory、Task Manager Memory信息。配置說明,請參見配置Ververica Flink離線模式資源

      • 運行參數:可以通過配置運行參數控制Flink應用程序的執行行為和性能。配置說明,請參見離線模式運行參數配置

      • 依賴文件:配置Flink SQL任務依賴的資源文件。配置說明,請參見離線模式依賴文件配置

      • 依賴關系(必選):配置依賴關系可幫助排查調試時快速了解數據的上下游任務。離線模式依賴關系配置

  3. 單擊確定

步驟四:調試FLINK_SQL任務代碼

Dataphin支持調試已開發的Flink_SQL代碼。單擊頁面右上方的image調試按鈕,可以對代碼任務采樣數據并進行本地調試,保障代碼任務的正確性。同時支持實時模式調試離線模式調試

說明

當前僅支持單種模式調試,選擇模式后請采樣對應模式表數據進行調試。

  • 實時模式調試:采樣對應的實時物理數據,完成數據采樣后將在Flink Stream模式下進行本地調試。具體操作,請參見實時模式調試

  • 離線模式調試:采取對應的離線物理表數據,完成數據采樣后將在Flink Batch模式下進行本地調試。具體操作,請參見離線模式調試

步驟五:提交FLINK_SQL任務

  1. 單擊頁面左上方的image按鈕,并在提交備注對話框中填寫備注信息。

  2. 單擊確定并提交

    說明

    如果項目的模式為Dev-Prod,則您需要發布Flink SQL任務至生產環境。具體操作,請參見管理發布任務

后續步驟

在運維中心查看并運維FLINK_SQL任務,保證任務的正常運行。具體操作,請參見查看并管理實時實例查看并管理實時任務