日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關(guān)鍵字查找
首頁 智能數(shù)據(jù)建設(shè)與治理 Dataphin 智能數(shù)據(jù)建設(shè)與治理Dataphin-共享模式（全托管版） 操作指南 數(shù)據(jù)開發(fā) 編碼研發(fā) 表管理 實時計算表 創(chuàng)建及管理元表

創(chuàng)建及管理元表

更新時間：
產(chǎn)品詳情
我的收藏

元表是通過數(shù)據(jù)管理的跨存儲類型表，開發(fā)過程中所用到的輸入表、輸出表、維表可以通過創(chuàng)建元表進(jìn)行創(chuàng)建和管理。本文為您介紹如何創(chuàng)建及管理元表。

功能優(yōu)勢

元表具有以下優(yōu)勢：

  • 安全可靠：通過元表可以有效避免直接編寫原生Flink DDL語句導(dǎo)致的敏感信息泄露問題。

  • 提升效率和體驗：通過一次建表，可多次引用。您無需重復(fù)編寫DDL語句，無需進(jìn)行繁雜的輸入、輸出、維表映射。簡化開發(fā)，提升效率和體驗。

  • 資產(chǎn)血緣：通過元表可以維護(hù)上下游的資產(chǎn)血緣信息。

元表作用

使用元表，您可以實現(xiàn)以下應(yīng)用場景：

  • 平臺化：統(tǒng)一維護(hù)所有實時元表和相關(guān)Schema信息。

  • 資產(chǎn)化：統(tǒng)一配置和管理實時研發(fā)過程中的表。

元表頁面介紹

image

區(qū)域

描述

①操作欄

支持保存、提交、去發(fā)布、刷新、編輯鎖、定位操作。

②元表基本信息

元表的基本信息，包括元表的名稱、數(shù)據(jù)源類型、數(shù)據(jù)源名稱、來源表名稱、Connector名稱。

③操作元表結(jié)構(gòu)

支持搜索表字段、添加字段、Flink DDL導(dǎo)出、排序和解析操作。添加字段支持以下方式。

④元表字段列表

為您展示系統(tǒng)解析到的元表字段。包括序號、字段名、是否元數(shù)據(jù)、Flink字段類型、原始字段類型、描述以及支持編輯和刪除操作。

⑤配置元表

支持配置元表的屬性和查看元表的歷史版本。

  • 元表屬性：包括基本信息、元表參數(shù)配置、調(diào)試測試配置。具體操作，請參見配置元表屬性。

  • 歷史版本：包括版本號、提交人、提交時間、生產(chǎn)狀態(tài)。具體操作，請參見實時計算表歷史版本。

操作步驟

步驟一：新建元表

  1. 在Dataphin首頁，在頂部菜單欄選擇研發(fā) > 數(shù)據(jù)開發(fā)。

  2. 在頂部菜單欄選擇項目后，在左側(cè)導(dǎo)航欄選擇數(shù)據(jù)處理 > 表管理。

  3. 單擊表管理列表中的image新建圖標(biāo)，打開新建表對話框。

  4. 在新建表對話框，配置參數(shù)。

    參數(shù)

    描述

    表類型

    選擇元表。

    元表名稱

    填寫元表的名稱。命名規(guī)則如下：

    • 僅支持英文字母大小寫、數(shù)字、下劃線（_），且不能以數(shù)字開頭。

    • 不能超過64個字符。

    數(shù)據(jù)源

    • Dataphin支持的實時數(shù)據(jù)源及創(chuàng)建的表類型詳情，請參見Dataphin支持的實時數(shù)據(jù)源。

    • 您也可以自定義實時數(shù)據(jù)源類型，具體操作，請參見新建實時自定義源類型。

    • 選擇數(shù)據(jù)源后，您還需根據(jù)數(shù)據(jù)源類型，配置對應(yīng)信息。配置說明，請參見

    選擇目錄

    默認(rèn)選擇為表管理。同時您也可以在表管理頁面創(chuàng)建目標(biāo)文件夾后，選擇該目標(biāo)文件夾為元表的目錄。image

    描述

    填寫簡單的描述，1000個字符以內(nèi)。

  5. 單擊確定，完成元表的創(chuàng)建。

步驟二：添加字段

Dataphin元表支持以下三種添加字段方式：

通過SQL導(dǎo)入的方式添加字段

  1. 在實時元表頁面，單擊+添加字段，選擇SQL導(dǎo)入。

  2. 在SQL導(dǎo)入對話框中，編寫SQL代碼。

    說明

    • Dataphin將根據(jù)您的數(shù)據(jù)源類型提示對應(yīng)的參考示例，您可在窗口中單擊參考示例image查看對應(yīng)代碼示例。

    • 完成代碼編寫后，您可單擊格式化image，一鍵調(diào)整您的代碼的格式。

    • 若您勾選同時導(dǎo)入with參數(shù)中的參數(shù)值，with的參數(shù)中的值將一并導(dǎo)入。

    MySQL數(shù)據(jù)源代碼示例如下：

    create table import_table (
  retailer_code INT comment ''
  ,qty_order VARCHAR comment ''
  ,cig_bar_code INT comment ''
  ,org_code INT comment ''
  ,sale_reg_code INT comment ''
  ,order_date TIMESTAMP comment ''
  ,PRIMARY KEY(retailer_code)
) with (
  'connector' = 'mysql'
  ,'url' = 'jdbc'
  ,'table-name' = 'ads'
  ,'username' = 'dataphin'
);

  3. 單擊確定，完成字段的添加。

通過批量導(dǎo)入的方式添加字段

  1. 在實時元表頁面，單擊+添加字段，選擇批量導(dǎo)入。

  2. 在批量導(dǎo)入對話框中，根據(jù)批量導(dǎo)入格式編寫SQL代碼。

    • 批量導(dǎo)入格式

      字段名||字段類型||描述||是否主鍵||是否元數(shù)據(jù)

    • 示例

      ID||INT||描述||false||false
name||INT||描述||false||false

  3. 單擊確定，完成字段的添加。

通過單行添加的方式添加字段

  1. 在實時元表頁面，單擊+添加字段，選擇單行添加。

  2. 在單行添加對話框中，配置參數(shù)。

    參數(shù)

    描述

    是否元數(shù)據(jù)

    默認(rèn)為否，若選擇是，則無需填寫是否主鍵及原始字段類型，需要選擇Flink SQL字段類型。

    字段名

    輸入字段名稱。

    僅支持英文字母大小寫、數(shù)字、下劃線（_）、半角句號（.），且不能以數(shù)字開頭。

    是否主鍵

    請根據(jù)業(yè)務(wù)需求選擇該字段是否為主鍵。

    說明

    • 若您的數(shù)據(jù)源為Kafka且Connector為Kafka時，則選擇是否消息鍵。

    • 若您的數(shù)據(jù)源為HBase時，則選擇RowKey。

    字段類型和原始字段類型

    • HBase沒有原始字段類型，需要選擇Flink SQL字段類型。此外，若該字段不是RowKey，則需填寫列簇。

    • 若元表的Flink SQL字段類型與原始字段類型為多對一，則需選擇Flink SQL字段類型。由Flink SQL字段類型映射出原始字段類型，此時原始字段類型只作展示，無法進(jìn)行編輯，例如Kafka。

    • 如果此種數(shù)據(jù)源的Flink SQL字段類型與原始字段類型為一對多，則先選擇原始字段類型，選擇原始字段類型后允許編輯，可手動添加精度，例如MySQL、Oracle、PostgreSQL、Microsoft SQL Server、Hive等數(shù)據(jù)源。

  3. 單擊確定，完成字段的添加。

步驟三：配置元表屬性

  1. 完成元表創(chuàng)建后，單擊右側(cè)屬性按鈕，可以配置元表基本信息、元表參數(shù)、引用信息和修改調(diào)試測試數(shù)據(jù)表。

    參數(shù)

    描述

    基本信息

    元表名稱

    默認(rèn)為所創(chuàng)建的元表名稱，不支持修改。

    數(shù)據(jù)源

    默認(rèn)為所創(chuàng)建的數(shù)據(jù)源類型。

    數(shù)據(jù)源參數(shù)

    不同計算引擎支持不同數(shù)據(jù)源，不同數(shù)據(jù)源所需配置參數(shù)不同。更多信息，詳情請參見附錄：元表數(shù)據(jù)源配置參數(shù)。

    描述

    請輸入對元表的描述，1000個字符以內(nèi)。

    元表參數(shù)

    參數(shù)名稱

    根據(jù)數(shù)據(jù)源類型提供不同的元表參數(shù)，您可以下拉獲取該數(shù)據(jù)源支持的元表參數(shù)及其對應(yīng)的說明，也可以手動填寫。若需新增參數(shù)，您可以單擊添加參數(shù)。

    參數(shù)個數(shù)不超過50個，參數(shù)名稱只能是數(shù)字、英文字母大小寫、下劃線（_）、短劃線（-）、半角句號（.）、半角冒號（:）、正斜線（/）。

    參數(shù)值

    參數(shù)值根據(jù)參數(shù)類型提供可選項，無可選項則需手動輸入，不支持單引號。例如：參數(shù)名稱：address，參數(shù)值：寧波。

    操作

    您可單擊image刪除對應(yīng)參數(shù)。

    引用信息

    Flink任務(wù)名

    將為您展示引用此元表的Flink任務(wù)名稱。

    說明

    草稿態(tài)任務(wù)不計入引用信息。

    任務(wù)調(diào)試時默認(rèn)讀取

    設(shè)置任務(wù)調(diào)試時默認(rèn)讀取的數(shù)據(jù)表，支持選擇生產(chǎn)表和開發(fā)表。

    如果選擇可讀取生產(chǎn)表，調(diào)試時可讀取對應(yīng)的生產(chǎn)表數(shù)據(jù)，存在數(shù)據(jù)泄漏風(fēng)險，請謹(jǐn)慎操作。

    若設(shè)置了任務(wù)調(diào)試時默認(rèn)讀取生產(chǎn)表，則需申請個人賬號的開發(fā)及生產(chǎn)數(shù)據(jù)源權(quán)限。如何申請數(shù)據(jù)源權(quán)限，請參見申請數(shù)據(jù)源權(quán)限。

    說明

    Hive表、Paimon表暫不支持調(diào)試。

    開發(fā)環(huán)境測試時讀取

    設(shè)置任務(wù)測試時默認(rèn)讀取的數(shù)據(jù)表，支持選擇生產(chǎn)表和開發(fā)表。

    如果選擇可讀取生產(chǎn)表，測試時可讀取對應(yīng)的生產(chǎn)表數(shù)據(jù)，存在數(shù)據(jù)泄漏風(fēng)險，請謹(jǐn)慎操作。

    若設(shè)置了開發(fā)環(huán)境測試時默認(rèn)讀取生產(chǎn)表，則需申請個人賬號的開發(fā)及生產(chǎn)數(shù)據(jù)源權(quán)限。如何申請數(shù)據(jù)源權(quán)限，請參見申請數(shù)據(jù)源權(quán)限。

    開發(fā)環(huán)境測試時寫入

    支持選擇當(dāng)前來源表和其他測試表，如果選擇其他測試表，則需要選擇相應(yīng)的表。

  2. 單擊確定。

步驟四：提交或發(fā)布元表

  1. 單擊元表頁面左上角菜單欄的提交。

  2. 在提交備注對話框中，填寫備注信息。

  3. 單擊確定并提交。

image

如果項目的模式為Dev-Prod，則您需要發(fā)布元表至生產(chǎn)環(huán)境。具體操作，請參見管理發(fā)布任務(wù)。

附錄：元表數(shù)據(jù)源配置參數(shù)

數(shù)據(jù)源

配置

描述

MaxCompute

  • 來源表

  • blinkType

來源表：數(shù)據(jù)的來源表。

blinkType：支持選擇odps或continuous-odps。

  • odps：作為source表為全量讀取，可作為sink表。

  • continuous-odps：作為source表進(jìn)行增量讀取，不可以作為sink表。

  • Tablestore

  • StarRocks

  • Lindorm（寬表）

  • Hologres

  • AnalyticDB for PostgreSQL

  • AnalyticDB for MySQL 3.0

  • RocketMQ

  • PolarDB-X(原DRDS)

  • Aliyun HBase

來源表

來源表：數(shù)據(jù)的來源表。

  • Log Service

  • DataHub

來源topic

來源topic：數(shù)據(jù)的來源topic。

PostgreSQL

Oracle

  • 來源表

  • 讀取方式

  • 來源表：數(shù)據(jù)的來源表。

  • 讀取方式：支持選擇JDBC讀寫表或CDC Source表。

    • JDBC讀寫表：使用JDBC支持表查詢，表寫入，用于流寫，批讀寫等。

    • CDC Source表：增量流式讀取。

Kafka

  • 來源topic

  • connector

  • 消息體格式

  • 來源表：數(shù)據(jù)的來源表。

  • connector：支持選擇kafka或upsert-kafka。

  • 消息體格式：支持csv、json、avro、avro-confluent、debezium-json、canal-json、canal-json-insert、maxwell-json、ogg-json、dataphin-canal-json、raw或自定義輸入。

  • 主鍵消息格式：connector選擇upsert-kafka時，需要配置主鍵消息格式。支持csv、json、avro、avro-confluent、debezium-json或自定義輸入。

    重要

    • dataphin-canal-json用于處理實時集成到kafka的數(shù)據(jù)。

    • 自定義輸入時，請確保自定義的數(shù)據(jù)格式已經(jīng)打包成jar包，并上傳附加依賴文件到Flink任務(wù)上，否則可能導(dǎo)致代碼無法正常引用或運行。

Hudi

  • 來源表

  • Hudi表類型

  • 來源表：數(shù)據(jù)的來源表。

  • Hudi表類型 ：支持選擇MERGE_ON_READ或COPY_ON_WRITE。

    • MERGE_ON_READ：寫入更新延遲較低，讀取延遲較高。

    • COPY_ON_WRITE：寫入更新延遲較高，讀取延遲較低。

Elasticsearch

  • connector

  • index

  • typeName

  • connector：支持選擇Elasticsearch、Elasticsearch-6、Elasticsearch-7。

    • 作為source表或dim表時，請選擇Elasticsearch。

      說明

      只支持阿里云Elasticsearch。

    • 作為sink表時，請選擇Elasticsearch-6或Elasticsearch-7。

  • index：請輸入或選擇來源index。

  • typeName：請輸入或選擇typeName。

Redis

無

后續(xù)步驟

完成元表創(chuàng)建后，您可以基于元表開發(fā)實時任務(wù)。更多信息，請參見：