鏡像表幫助您統一管理Flink計算任務中的實時表和離線表。本文為您介紹如何生成鏡像表。
背景信息
如果Flink任務的生效模式為實時和離線,則新建計算任務開發即有實時表又有離線表。Dataphin支持新建鏡像表,鏡像表映射了實時表和離線表。您在開發計算任務時只需要引用鏡像表,系統會為您自動生成實時實例和離線實例,提高了計算任務的研發效率。
步驟一:新建鏡像表
在Dataphin首頁,單擊頂部菜單欄研發。
按照下圖操作指引,進入實時計算表對話框。
在新建表對話框,配置參數。
參數
描述
表類型
選擇鏡像表。
表名
命名規則如下:
英文字符、數字、下劃線(_)。
首字符不能為數字。
不能超過64個字符。
存儲目錄
默認選擇的是表管理。同時您也可以在表管理頁面創建目標文件夾后,選擇該目標文件夾為鏡像表的目錄。
描述
填寫簡單的描述,1000個字符以內。
配置完成后,單擊確定。
在主表開發頁面,添加字段。
系統支持SQL導入字段、批量導入字段和單行導入字段的方式,新建主表字段:
SQL語句導入字段。
單擊SQL導入字段。
在SQL導入對話框,單擊參考示例,查看代碼示例,編寫導入字段的代碼,代碼示例如下。
create table dwi_pub_hbd_cate_mtr ( rowkey VARCHAR comment 'rowkey', stat_date VARCHAR comment 'stat_date', keymin VARCHAR comment 'keymin', PRIMARY KEY(rowkey) )
單擊確定。
批量導入字段。
單擊批量導入。
在批量導入對話框,查看代碼示例,編寫批量導入字段的代碼,代碼示例如下。
rowkey||VARCHAR||rowkey rowkey1||VARCHAR||rowkey1 rowkey2||VARCHAR||rowkey2 stat_date||VARCHAR||stat_date keymin||VARCHAR||keymin
單擊確定。
單行添加字段。
單擊單行添加。
在單行添加對話框,填寫字段名和描述,選擇字段類型。
單擊確定。
如果您已添加了字段,還需繼續添加字段,則單擊主表顯示框右上方的圖標后,選擇添加字段的方式。
步驟二:關聯實時表和離線表
在主表開發頁面,單擊選擇關聯表。
在新建關聯關系對話框,填寫關聯的實時表和離線表。
關聯表
參數
描述
關聯實時表
選擇項目
選擇關聯實時表的項目。
選擇實時表
選擇實時表。
關聯離線表
選擇項目
選擇關聯離線表的項目。
選擇離線表
選擇離線表。
單擊確定。
在鏡像表開發頁面,單擊連線上的圖標,在替換關聯關系對話框,填寫關聯的實時表和離線表。
說明創建文件后,單擊連線上的圖標,在替換關聯關系對話框,單擊確定,刪除已關聯的替換關聯關系。
關聯表
參數
描述
關聯實時表
選擇項目
選擇關聯實時表的項目。
選擇實時表
選擇實時表
關聯離線表
選擇項目
選擇關聯離線表的項目。
選擇離線表
選擇離線表
單擊確定。
關聯字段。
您可以通過以下方式,關聯字段:
手動關聯
選中實時表或離線表中需要關聯的字段后,單擊主表中需要關聯的字段。關聯后的字段使用連線連接。
您也可以單擊連線上的后,在刪除字段關聯對話框,單擊確定,刪除已關聯的字段。
自動關聯
單擊頁面上方的自動關聯,系統會自動關聯鏡像表與實時表和離線表同名的字段,并生成連線。
如果已有關聯字段,則自動關聯會導致原有連線會被覆蓋。
批量關聯
單擊頁面上方的批量關聯。
在批量關聯對話框,單擊參考示例。參考示例編寫關聯字段的代碼。
鏡像表字段,實時表字段,離線表字段 鏡像表字段,實時表字段,離線表字段 鏡像表字段,實時表字段,離線表字段
單擊確定。
步驟三:預覽鏡像關系
在鏡像表開發頁面,頁面右側為您展示鏡像關系預覽面板。在鏡像關系預覽面板,查看實時表、離線表和鏡像表之間的映射關系。
如果您已關閉了鏡像關系預覽面板,則單擊頁面右上方的圖標,打開鏡像關系預覽面板。
步驟四:提交或發布鏡像表
在鏡像表開發頁面,單擊頁面上方的圖標,保存鏡像表。
單擊頁面上方的圖標。
在提交備注對話框,填寫備注信息。
單擊確定并提交。
(可選)
發布鏡像表至生產環境。
根據當前項目的開發模式,選擇是否需要鏡像表:
如果項目為Basic模式,則無需發布鏡像表,提交成功的鏡像表即可進入生產環境。
如果項目為Dev-Prod模式,則需要發布鏡像表至生產環境。