代碼模板
Flink全托管為您提供了豐富的代碼模板,每種代碼模板都為您提供了具體的使用場景、代碼示例和使用指導。您可以通過代碼模板快速地了解Flink產(chǎn)品功能和相關(guān)語法,實現(xiàn)自己的業(yè)務邏輯。本文為您介紹代碼模板的使用場景和操作步驟。
使用限制
僅實時計算引擎vvr-4.0.12-flink-1.13及以上版本支持使用代碼模板。
注意事項
如果該模板中不包含INSERT INTO語句,則不支持部署該作業(yè)。
支持的模板
Flink全托管支持的模板和其使用場景詳情如下表所示,具體請以控制臺為準。
模板類別 | 模板名稱 | 使用場景 |
基礎(chǔ)模板 | 創(chuàng)建表 | 如果您需要創(chuàng)建表并保存在Catalog中,則可以使用DDL創(chuàng)建表。對表的操作和數(shù)據(jù)庫類似。 |
創(chuàng)建臨時表 | 如果您只需要在當前會話或SQL腳本中使用某些表,則可以使用臨時表。 | |
創(chuàng)建臨時視圖 | 如果您需要在Flink SQL開發(fā)過程中,重用代碼,組織長查詢或者SQL腳本來簡化開發(fā),則可以使用臨時視圖。 | |
INSERT INTO | 如果您需要將查詢結(jié)果寫入到外部存儲系統(tǒng)中的表,從而提供給下游應用程序,則可以使用INSERT INTO語法。 | |
STATEMENT SET | 如果您需要將查詢的結(jié)果輸出到下游的兩到多個外部系統(tǒng)中,則可以使用STATEMENT SET語法。 | |
Watermark | 如果您希望Flink可以正確處理亂序數(shù)據(jù),則需要使用Watermark。您可以在建表DDL中創(chuàng)建一個Watermark,即在一個已有字段上定義一個Watermark生成表達式,標記這個字段為時間屬性字段。詳情請參見Event Time and Watermarks。 | |
聚合分析 | GROUP BY | 如果您需要實時對數(shù)據(jù)進行聚合分析,則可以使用GROUP BY語句。 |
滾動窗口聚合 | 如果您需要對時間序列數(shù)據(jù)進行分組,并對每個分組內(nèi)的數(shù)據(jù)進行聚合分析,則可以使用滾動窗口。 | |
滑動窗口聚合 | 如果您需要每間隔一段時間更新一個窗口內(nèi)的數(shù)據(jù),則可以使用滑動窗口。 | |
累積窗口聚合 | 如果您需要提早看到窗口的計算結(jié)果,例如每分鐘看到最新的窗口結(jié)果,則可以使用累積窗口。 說明 累積窗口聚合不支持CDC,使用CDC后語法校驗會報錯 | |
會話窗口聚合 | 如果您需要實時統(tǒng)計用戶在一個活躍會話期間的數(shù)據(jù),則可以使用會話窗口。 | |
Over窗口聚合 | 如果您需要對一個窗口內(nèi)的每個元素進行統(tǒng)計分析,則需要使用OVER窗口。 | |
級聯(lián)窗口聚合 | 如果您需要同時對同一個流的數(shù)據(jù)進行不同時間維度(例如1min、5min、30min、1h)的聚合,則可以使用級聯(lián)窗口。 | |
去重模板 | 去重 | 如果您需要去除數(shù)據(jù)流中的重復數(shù)據(jù),則可以使用去重語法。 |
Top-N模板 | Top-N | 如果您需要根據(jù)業(yè)務要求計算出當前排名前幾位或者后幾位的數(shù)據(jù),則可以使用Top-N語法。 |
窗口Top-N | 如果您需要在某個時間范圍內(nèi)計算出目前排名前幾位或者后幾位的數(shù)據(jù),則可以使用窗口Top-N語法。 | |
CEP模板 | 模式檢測(CEP) | 在數(shù)據(jù)流情景中,如果您需要搜索一組事件模式,則可以使用MATCH_RECOGNIZE語法。 |
Join模板 | Regular Join | 如果您需要關(guān)聯(lián)查詢其他流表的數(shù)據(jù)進行計算,則可以使用Regular Join語法。 |
Interval Join | 如果您需要關(guān)聯(lián)某張表在指定時間范圍內(nèi)的數(shù)據(jù),則可以使用Interval Join語法。 | |
時態(tài)表Join | 如果您需要流表中的每條數(shù)據(jù)都關(guān)聯(lián)其他表中對應時間版本數(shù)據(jù),則可以使用時態(tài)表Join。 | |
維表Join | 如果您需要關(guān)聯(lián)靜態(tài)維表上的數(shù)據(jù),則可以使用維表Join。 |
操作步驟
本文以創(chuàng)建表模板為您介紹如何使用代碼模板。
登錄實時計算控制臺。
單擊對應工作空間操作列下的控制臺。
在 頁面,單擊新建。
在SQL基礎(chǔ)模版頁簽,雙擊目標模板名稱,或者單擊選中目標模板后,在右下角單擊下一步。
根據(jù)需要,修改文件名稱、存儲位置、引擎版本和SQL代碼。
單擊創(chuàng)建。
后面的操作和正常的作業(yè)開發(fā)完全相同,作業(yè)開發(fā)的操作步驟詳情請參見SQL作業(yè)開發(fā)。