Flink Vvr SQL節點是流式節點,運行于Flink云計算資源之上,支持對RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等類型的數據進行處理。本文介紹如何新建Flink Vvr SQL類型的公共節點。
背景信息
Flink Vvr SQL是基于Apache Flink(以下簡稱Flink)開發的商業版,VVR引擎接口完全兼容Flink開源版本,適用于在K8s部署運行的Flink節點。
Flink Vvr SQL公共節點是為了簡化計算模型、降低您使用Flink門檻而設計的可以使用標準SQL語義的開發的公共節點。
操作步驟
方式一:寫SQL語句方式
登錄數據資源平臺控制臺。
在頁面左上角,單擊圖標,選擇協同。
在頂部菜單欄,單擊圖標,選擇目標工作組,單擊資產加工 。
說明若您已在資產加工頁面,請跳過“單擊資產加工”的操作。
在左側導航欄,單擊圖標,選擇公共節點。
單擊圖標,在公共節點頁面,單擊新建節點。
在新建節點對話框,選擇Flink Vvr SQL節點類型,單擊確定。
在節點編輯頁面,進行配置。
在頁面右側的節點屬性頁簽,自定義填寫節點標識、節點名稱以及簡介信息。
在編輯頁面,輸入SQL語句,單擊圖標。
在確認節點信息對話框中,確認節點標識、節點名稱以及節點目錄信息設置無誤后,單擊確認。
單擊頁面右側運行配置頁簽,選擇需要的開發計算引擎。
(條件必選)如果代碼中存在輸入、輸出表或者節點變量,則需要手動添加節點的輸入、輸出和節點變量,或通過單擊編輯頁面的圖標,自動解析公共節點的輸入、輸出和節點變量。
這里以解析為例介紹,詳細參數如下表所示。
單擊編輯頁面的圖標,在節點編輯頁面的運行配置頁簽,會顯示已自動解析出的輸入輸出和節點變量。
打開節點輸入后面的開關,查看節點輸入。
打開節點輸出后面的開關,查看節點輸出。
填寫節點變量值。
在節點編輯頁面,單擊左上角圖標。
方式二:上傳算法包方式
登錄數據資源平臺控制臺。
在頁面左上角,單擊圖標,選擇協同。
在頂部菜單欄,單擊圖標,選擇目標工作組,單擊資產加工 。
說明若您已在資產加工頁面,請跳過“單擊資產加工”的操作。
在左側導航欄,單擊圖標,選擇公共節點。
單擊圖標,在公共節點頁面,單擊新建節點。
在新建節點對話框,選擇Flink Vvr SQL節點類型,單擊確定。
在節點編輯頁面,進行配置。
在頁面右側的節點屬性頁簽,自定義填寫節點標識、節點名稱以及簡介信息并上傳算法包。
參數
說明
節點名稱
節點的名稱。
節點標識
節點的唯一標識,由用戶自定義,同一個工作區內不可重復。
公共節點版本
首次創建時,默認為開發版本(Beta),待首次發布以后版本號依次疊加,用戶修改對應的算法語句后,可發布成不同的版本。
節點目錄
節點所屬目錄。
作業參數
節點運行的額外參數。
節點附件
上傳JAR包格式的節點資源文件。
節點描述
節點的描述性信息,方便用戶理解和查找。
在編輯頁面,輸入對應的腳本內容,單擊圖標。
在確認節點信息對話框中,確認節點標識、節點名稱以及節點目錄信息設置無誤后,單擊確認。
單擊頁面右側運行配置頁簽,手動添加節點輸入、輸出參數和節點變量。
如果算法文件和腳本中有要求輸入變量,單擊添加節點輸入,添加輸入參數,填寫輸入標識,并選擇輸入的云計算資源類型以及輸入表。
如果算法文件和腳本中有要求輸出變量,單擊添加節點輸出,添加輸出參數,填寫輸出標識,并選擇輸出的云計算資源類型以及輸出表。
如果需要設置算法的全局控制參數,則單擊添加參數來設置即可。各參數配置項說明如下表所示。
參數
說明
節點輸入
輸入標識
輸入變量的標識,用戶可根據前面編寫的腳本內容來自定義,例如:Input。
數據結構
云計算資源類型
輸入數據的數據源類型,在下拉列表中選擇。
輸入數據格式
輸入表的數據格式,由數據模型定義,在下拉列表中選擇輸入數據的邏輯表名稱,表示該計算資源中提供數據的數據表的結構。
當選擇數據表時,需保證輸入的模型與上游節點的輸出數據模型相同。
當選擇星號(*)時,代表數據結構為任意結構,用于對未創建數據模型的表進行操作。
節點輸出
輸出標識
輸出變量的標識,用戶可根據前面編寫的腳本內容來自定義,例如:Output。
數據結構
云計算資源類型
輸出數據的數據源類型,在下拉列表中選擇。
輸出數據格式
輸出表的數據格式,由數據模型定義,在下拉列表中選擇,表示該計算資源中輸出數據的數據表的結構。
當選擇數據表時,需保證節點輸出的模型與下游節點的輸入數據模型相同。
當選擇星號(*)時,代表數據結構為任意結構,用于對未創建數據模型的表進行操作。
節點變量
參數變量
算法參數的名稱,用戶自定義。
參數說明
參數的說明信息。
參數值
設置變量的值,值類型為字符串(String)類型。
值類型
算法參數的值類型,目前支持的格式包括STRING、BOOLEAN、LONG、DOUBLE 和 DATE,您可根據實際需要選擇。
配置Flink運行時參數。
完成上述參數配置后,單擊圖標,創建節點完成。