国产在线拍揄自揄视频萝利,亚洲中文久久精品无码,高清无码午夜福利视频一a级

使用DataWorks數(shù)據(jù)地圖查看表或數(shù)據(jù)服務(wù)API時(shí)，可在對(duì)應(yīng)的詳情頁(yè)面查看詳細(xì)的血緣信息，這對(duì)于數(shù)據(jù)溯源及管理有很大幫助，本文為您介紹數(shù)據(jù)地圖的血緣查看能力。

表血緣

查看入口

查找某張表并進(jìn)入表詳情頁(yè)面后，您可以單擊血緣信息頁(yè)簽，查看表級(jí)和字段級(jí)的血緣詳情。同時(shí)，您也可以進(jìn)行影響分析，獲取當(dāng)前表的下游表列表，支持下載下游表列表為本地文件或通過(guò)郵件進(jìn)行變更通知。

說(shuō)明

數(shù)據(jù)地圖支持展示基于調(diào)度作業(yè)、數(shù)據(jù)流轉(zhuǎn)信息解析得出的表和表、字段和字段之間的血緣關(guān)系；暫不包含臨時(shí)查詢等手動(dòng)操作產(chǎn)生的血緣關(guān)系。離線數(shù)據(jù)T+1更新其血緣關(guān)系。

各數(shù)據(jù)源使用限制

E-MapReduce

DataLake或自定義集群若要在DataWorks管理元數(shù)據(jù)，需先在集群側(cè)配置EMR-HOOK。若未配置，則在DataWorks中無(wú)法展示血緣關(guān)系。配置EMR-HOOK，詳情請(qǐng)參見(jiàn)配置Hive的EMR-HOOK。
EMR on ACK類型的Spark集群及EMR Serverless Spark集群不支持查看血緣關(guān)系。
EMR Presto節(jié)點(diǎn)的任務(wù)不支持查看血緣關(guān)系。

StarRocks

StarRocks Serverless集群的元數(shù)據(jù)、血緣分析能力由集群的FE配置參數(shù)stmt_event_listeners控制，您可以修改此參數(shù)來(lái)控制是否啟用元數(shù)據(jù)、血緣分析能力，添加或移除其他基于Statement Event分析的能力。

參數(shù)說(shuō)明

FE配置參數(shù)名：stmt_event_listeners

默認(rèn)值：com.starrocks.qe.events.listener.LineageStmtEventListener，表示啟用元數(shù)據(jù)、血緣分析能力。

如需關(guān)閉，請(qǐng)將stmt_event_listeners配置為,，表示接收逗號(hào)分隔的類名。

說(shuō)明

如果將stmt_event_listeners配置為空（取值清空，不配置內(nèi)容），則系統(tǒng)將使用默認(rèn)值，啟用元數(shù)據(jù)、血緣分析能力。
該參數(shù)隨StarRocks Serverless集群的3.1.13版本、3.2.9版本及以后的版本開(kāi)放，如果您的StarRocks Serverless集群FE配置參數(shù)中無(wú)stmt_event_listeners參數(shù)，則暫不支持開(kāi)啟元數(shù)據(jù)、血緣分析能力。如需啟用，請(qǐng)查看當(dāng)前集群版本，評(píng)估是否升級(jí)，具體操作，請(qǐng)參見(jiàn)版本升級(jí)。

AnalyticDB for MySQL

對(duì)于AnalyticDB for MySQL類型的表，部分SQL處理命令不支持在數(shù)據(jù)地圖中生成血緣關(guān)系信息，限制詳情如下。

不支持展示血緣的SQL命令：

不支持的SQL

示例

不支持join、union，或使用了*等關(guān)鍵字。

例如，以下SQL中使用了*，數(shù)據(jù)地圖無(wú)法展示血緣關(guān)系。

insert into test select * from test1, test2 where test1.id = test2.id

不支持子查詢。

例如，以下SQL中包含子查詢，數(shù)據(jù)地圖無(wú)法展示血緣關(guān)系。

SELECT column1, column2 FROM table1 WHERE column3 IN (SELECT column4 FROM table2 WHERE column5 = 'value')

可正常展示血緣的SQL命令示例：
- 示例1：創(chuàng)建名為A的表（不包含具體列信息），同時(shí)從B表中選擇某些具體列（不包含*）作為A表的內(nèi)容。例如：
```
create table test as select id,name from test1;
```
- 示例2：將表A中滿足條件column1= value1的表A中某些具體列（不包含*）數(shù)據(jù)插入到B表（不包含具體列信息）中。例如：
```
insert into test select id,name from test1 where name='test';
```
- 示例3：將A表的某些列（不包含*）數(shù)據(jù)覆蓋寫(xiě)入到某個(gè)數(shù)據(jù)庫(kù)中的B表中。例如：
```
INSERT OVERWRITE INTO db_name.test SELECT id,name from test1;
```

CDH

如果需要在數(shù)據(jù)地圖中展示CDH Spark SQL及CDH Spark節(jié)點(diǎn)數(shù)據(jù)加工過(guò)程的表血緣關(guān)系，請(qǐng)按照數(shù)據(jù)加工的模塊，在管理中心 > 集群管理的Spark參數(shù)處單獨(dú)配置。

進(jìn)入管理中心頁(yè)面。
登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的更多 > 管理中心，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入管理中心。
在左側(cè)導(dǎo)航欄單擊集群管理，然后找到已創(chuàng)建的目標(biāo)CDH集群。
單擊編輯SPARK參數(shù)。
根據(jù)具體數(shù)據(jù)加工模塊添加Spark參數(shù)。
例如要在數(shù)據(jù)地圖中展示CDH Spark SQL及CDH Spark節(jié)點(diǎn)在運(yùn)維中心-周期實(shí)例模塊中數(shù)據(jù)加工過(guò)程的表血緣關(guān)系，則需要在對(duì)應(yīng)模塊中，添加如下參數(shù)：
- Spark屬性名稱：spark.sql.queryExecutionListeners
- Spark屬性值：com.aliyun.dataworks.meta.lineage.LineageListener
單擊完成編輯。

各數(shù)據(jù)源血緣展示情況說(shuō)明

數(shù)據(jù)源

數(shù)據(jù)集成

數(shù)據(jù)開(kāi)發(fā)

表級(jí)血緣

字段級(jí)血緣

表級(jí)血緣

字段級(jí)血緣

MaxCompute

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步（MySQL/Kafka/PolarDB MySQL/LogHub同步至MaxCompute）

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Hologres

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步（MySQL/Kafka/LogHub同步至Hologres）

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

E-MapReduce

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

（OSS、Hive）

實(shí)時(shí)同步

離線同步

（OSS、Hive）

實(shí)時(shí)同步

Hive、Spark（spark-submit）、Spark SQL（支持Hudi格式）、Shell（使用beeline提交的Hive SQL）

insert into /insert overwrite table

create as select from table

create external table

Hive、Spark（spark-submit）、Spark SQL（支持Hudi格式）、Shell（使用beeline提交的Hive SQL）

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB MySQL

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB PostgreSQL

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

StarRocks

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

ClickHouse

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

CDH/CDP

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

Hive、Impala、Spark、Spark SQL

insert into /insert overwrite table

create as select from table

create external table

Hive、Impala、Spark、Spark SQL

insert into /insert overwrite table

create as select from table

create external table

MySQL

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

（MySQL同步至MaxCompute/Hologres）

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PostgreSQL

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SQL Server

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Tablestore（OTS）

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Oracle

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OceanBase

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OSS

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB MySQL

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步（PolarDB MySQL同步至MaxCompute）

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB PostgreSQL

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Kafka

詳情頁(yè)

詳情頁(yè)-血緣信息

離線同步

實(shí)時(shí)同步

（Kafka同步至MaxCompute/Hologres）

離線同步

實(shí)時(shí)同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

數(shù)據(jù)服務(wù)API血緣

查找某個(gè)數(shù)據(jù)服務(wù)API并進(jìn)入API詳情頁(yè)面后，您可以單擊血緣信息頁(yè)簽，查看API的血緣詳情。

日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

表血緣

查看入口

各數(shù)據(jù)源使用限制

E-MapReduce

StarRocks

參數(shù)說(shuō)明

AnalyticDB for MySQL

CDH

各數(shù)據(jù)源血緣展示情況說(shuō)明

數(shù)據(jù)服務(wù)API血緣