Dataphin支持通過批量標簽查詢服務,輸出標簽表給到下游應用系統。本文將指導您如何新建標簽離線任務。
限制說明
為保障數據的高可用,運行標簽離線服務時,系統會將數據寫入臨時表({目標表}_dpfx_b
);寫入完成后,將原目標表進行重命名({目標表}_dpfx_tmp
),目標表重命名后將臨時表重命名為目標表;最后刪除原目標表({目標表}_dpfx_tmp
)。在重命名原目標表完成后到將臨時表重命名為目標表完成前,數據將存在短暫不可用時間。
前提條件
標簽離線服務概覽
標簽離線服務頁面主要由篩選與搜索區、功能區、標簽離線服務列表組成。您可以在標簽離線服務頁面對創建的標簽離線服務進行相關的管理操作。
區塊 | 說明 |
①功能區 |
|
②標簽離線服務列表 | 標簽離線服務頁面以列表形式為您展示創建的標簽離線服務,包括任務名、負責人、應用名、實體、實體ID、任務狀態、執行狀態、標簽、目標源類型、目標表、調度類型、創建時間以及支持的操作。標簽離線服務支持的管理操作詳情如下: 說明 鼠標懸停至目標表,支持查看目標表的全稱和目標數據源名稱。若目標數據源類型為openGauss,還支持查看目標表Schema。
|
新建標簽離線服務
在Dataphin首頁的頂部菜單欄中,選擇標簽 > 標簽應用。
在左側導航欄中選擇服務管理 > 標簽離線服務。
在標簽離線服務頁面,單擊新建任務。
在新建離線服務配置頁中,配置以下參數。
參數
描述
基本信息
任務名
填寫離線任務名稱。允許中英文、數字、下劃線(_), 64個字符以內。
應用選擇
選擇已關聯項目的應用。
負責人
選擇該離線服務的負責人。
實體
選擇離線服務對應的實體名稱。
實體ID選擇
選擇實體對應的ID名稱。
說明字段映射處輸入標簽可選標簽范圍將基于選擇的實體ID進行過濾。
調度類型
支持周期調度和手動調度任務類型。
手動調度:一次集成,任務發布后可在任務列表頁選擇手動執行。
周期調度:調度執行,根據配置周期調度執行。
描述
填寫簡單描述信息,1000個字符以內。
字段映射
目標數據源
選擇離線服務對應的目標數據源。目標數據源可以為在Dataphin創建的MySQL、Oracle、AnalyticDB for PostgreSQL、Greenplum、openGauss數據源和項目。
說明項目的目標數據源僅支持當前賬號加入的項目(通用與標簽項目),且項目生產賬號具有同步寫權限。
若無所需數據源,您可以單擊+新建數據源進行創建。具體操作,請參見數據源管理概述。
Schema
目標數據源類型為openGauss時,支持選擇數據源的Schema。
目標表
選擇目標數據源中的目標表。openGauss數據源類型為Schema下的目標表。
不支持多級分區表。
跨項目安全模式開啟時,不支持跨項目建表。更多信息,請參見安全設置。
若沒有當前目標表生產環境的寫表數據權限,您可以單擊申請權限進行權限申請。更多信息,請參見申請、續期和交還表權限。
若無對應目標表,選擇輸入標簽后,可以單擊創建所需的目標表。如下圖所示:
在系統生成的建表語句中,請確認表名、字段類型、精度等是否符合需求后再單擊新建。
表名和表備注都均由系統自動生成,可以按需要進行修改。
系統生成的建表語句參考了輸入標簽的類型,并進行了初步的轉換,您可以按需修改。
目標數據源為項目時,系統將默認生成分區表,建議不做調整。
目標數據源類型為AnalyticDB for PostgreSQL時,不支持選擇分區表。
選擇輸入標簽后,可以配置導出的標簽的代碼值和代碼名稱。可以單獨導出標簽值或代碼名稱,也可以全部導出,但至少需要導出一個。
說明目前行為偏好類標簽暫不支持導出。
一鍵建表時,若標簽已配置碼表,可選擇代碼名稱導出。導出代碼名稱為
{標簽code}_codename
。一鍵建表后,系統將自動映射字段。
日期分區
選擇目標表的分區字段。
若所選目標表為分區表,則系統將默認該表的第一個分區字段。
若所選目標表為非分區表,則無需選擇日期分區。
分區字段格式
輸入日期格式,或選擇已有的日期格式。可選擇yyyyMMdd、yyyy-MM-dd、yyyy/MM/dd、yyyy.MM.dd。
說明僅當計算引擎為MaxCompute時,分區字段格式可選擇為yyyymmdd、yyyy-mm-dd、yyyy/mm/dd或yyyy.mm.dd。
加載策略
僅支持覆蓋策略加載策略;覆蓋數據策略下,當主鍵/約束沖突時,會先刪除原數據,再插入整行新數據。
輸入標簽
勾選實體下需要進行映射的標簽,并單擊按鈕進行數據源字段映射關系配置。
說明目前行為偏好類標簽暫不支持導出。
映射關系
系統顯示已選的標簽及其映射字段關系,需要選擇輸出標簽映射的映射字段。
同名映射:單擊支持將相同名稱的標簽及其映射字段進行關聯。
清除:單擊支持將已映射關系進行清除。
運維配置
調度周期
在特定時間范圍內進行任務調度的周期。支持按日調度。標簽離線任務將按照配置的調度時間按日調度運行。
單擊發布,即可完成標簽離線服務任務創建。