Flink SQL節點是流式節點,運行于Flink云計算資源之上,支持對RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等類型的數據進行處理。本文介紹如何新建Flink SQL類型的公共節點。
背景信息
Flink SQL是基于Apache Flink(以下簡稱Flink)開發的商業版,適用于以YARN模式部署運行的Flink節點。
Flink SQL公共節點是為了簡化計算模型、降低您使用Flink門檻而設計的可以使用標準SQL語義的開發的公共節點。
操作步驟
方式一:寫SQL語句方式
登錄數據資源平臺控制臺。
在頁面左上角,單擊圖標,選擇協同。
在頂部菜單欄,單擊圖標,選擇目標工作組,單擊資產加工 。
說明若您已在資產加工頁面,請跳過“單擊資產加工”的操作。
在左側導航欄,單擊圖標,選擇公共節點。
單擊圖標,在公共節點頁面,單擊新建節點。
在新建節點對話框,選擇Flink SQL節點類型,單擊確定。
在節點編輯頁面,進行配置。
在頁面右側的節點屬性頁簽,自定義填寫節點標識、節點名稱以及描述信息。
在編輯頁面,輸入SQL語句,單擊圖標。
(可選)當需要在SQL中使用自定義函數時,單擊引用函數頁簽,在自定義函數列表找到需要的自定義函數,再返回編輯頁面輸入。若函數列表為空,則需要先新建函數,更多操作請參見新建自定義函數。
在確認節點信息對話框中,確認節點標識、節點名稱以及節點目錄信息設置無誤后,單擊確認。
單擊頁面右側運行配置頁簽,配置開發計算引擎。
(條件必選)如果代碼中存在輸入、輸出表或者節點變量,則需要手動添加節點的輸入、輸出和節點變量,或通過單擊編輯頁面的圖標,自動解析公共節點的輸入、輸出和節點變量。
這里以解析為例介紹,詳細參數如下表所示。
單擊編輯頁面的圖標,在節點編輯頁面的運行配置頁簽,會顯示已自動解析出的輸入輸出和節點變量。
打開節點輸入后面的開關,查看節點輸入。
打開節點輸出后面的開關,查看節點輸出。
填寫節點變量值。
配置Flink運行時參數。
在節點編輯頁面,單擊左上角圖標。
方式二:上傳算法包方式
登錄數據資源平臺控制臺。
在頁面左上角,單擊圖標,選擇協同。
在頂部菜單欄,單擊圖標,選擇目標工作組,單擊資產加工 。
說明若您已在資產加工頁面,請跳過“單擊資產加工”的操作。
在左側導航欄,單擊圖標,選擇公共節點。
單擊圖標,在公共節點頁面,單擊新建節點。
在新建節點對話框,選擇Flink SQL節點類型,單擊確定。
在節點編輯頁面,進行配置。
在頁面右側的節點屬性頁簽,自定義填寫節點標識、節點名稱以及簡介信息并上傳算法包。
配置項
說明
節點名稱
節點的名稱。
節點標識
節點的唯一標識,由用戶自定義,同一個工作區內不可重復。
公共節點版本
首次創建時,默認為開發版本(Beta),待首次發布以后版本號依次疊加,用戶修改對應的算法語句后,可發布成不同的版本。
節點目錄
節點所屬目錄。
節點描述
節點的描述性信息,方便用戶理解和查找。
節點附件
上傳JAR包格式的節點資源文件。
在編輯頁面,輸入對應的腳本內容,單擊圖標。
在確認節點信息對話框中,確認節點標識、節點名稱以及節點目錄信息設置無誤后,單擊確認。
(條件必選)如果代碼中存在輸入、輸出或者節點變量,則需要手動添加節點的輸入、輸出和節點變量,具體參數配置參見下表。
如果節點文件和腳本中有要求輸入,則打開節點輸入后面的開關,單擊添加節點輸入,添加節點輸入,自定義填寫輸入標識并選擇輸入數據結構。
如果節點腳本中有要求輸出變量,則打開節點輸出后面的開關,單擊添加節點輸出,添加節點輸出,自定義填寫輸出標識,并選擇輸出數據結構。
如果需要設置節點的全局控制參數,單擊添加參數,添加節點變量并賦值,關于全局變量的設置,更多信息,請參見新增工作組全局變量。
參數
說明
節點輸入
輸入標識
輸入變量的標識,系統默認配置,用戶可根據前面編寫的腳本內容來自定義,例如:Input。
數據結構
輸入表的數據格式,由數據模型定義,在下拉列表中選擇輸入數據的邏輯表名稱,表示該計算資源中提供數據的數據表的結構。
當選擇數據表時,需保證輸入的模型與上游節點的輸出數據模型相同。
當選擇星號(*)時,代表數據結構為任意結構,用于對未創建數據模型的表進行操作。
節點輸出
輸出標識
輸出變量的標識,用戶可根據前面編寫的腳本內容來自定義,例如:Output。
數據結構
輸出表的數據格式,由數據模型定義,在下拉列表中選擇,表示該計算資源中輸出數據的數據表的結構。
當選擇數據表時,需保證節點輸出的模型與下游節點的輸入數據模型相同。
當選擇星號(*)時,代表數據結構為任意結構,用于對未創建數據模型的表進行操作。
節點變量
變量名
算法的名稱,用戶自定義。
變量值
設置變量的值,值類型為字符串(String)類型。
變量說明
變量的說明信息。
配置Flink運行時參數。
完成上述參數配置后,單擊圖標,創建節點完成。