物理表詳情入口
在Dataphin首頁,單擊頂部菜單欄的治理 > 資產(chǎn)清單。
單擊數(shù)據(jù)表頁簽,選擇目標物理表,單擊物理表的名稱或操作列下的圖標,進入對象詳情頁面。
物理表詳情
編號 | 描述 |
①概要信息 | 為您展示表的類型、環(huán)境、名稱、標簽、描述等信息。同時,您還可以執(zhí)行如下操作: 搜索其他資產(chǎn)對象:您可以快捷搜索并切換查看其他資產(chǎn)的詳情。 查看資產(chǎn)詳情:如果當前對象已上架到資產(chǎn)目錄,您可以快捷跳轉至目錄詳情頁查看已上架信息。 查看生產(chǎn)/開發(fā)對象:支持快速切換當前對象在對應生產(chǎn)/開發(fā)環(huán)境的對象詳情。 標簽:為您展示當前資產(chǎn)已配置的標簽值。如需修改標簽,您可以單擊編輯: 收藏:單擊即可收藏或取消收藏。收藏后,您可以在資產(chǎn)清單列表 > 我的足跡查看最近收藏的30條資產(chǎn),方便后續(xù)查詢;您也可以在個人數(shù)據(jù)中心查看全量收藏的資產(chǎn),詳情請參見查看及管理我收藏的資產(chǎn)。 去分析:單擊跳轉至Notebook頁面自動創(chuàng)建對應的Notebook任務,詳情請參見新建Notebook。 申請權限:單擊快捷跳轉到當前表的權限申請頁面,詳情請參見申請、續(xù)期和交還表權限。 反饋質(zhì)量問題:您可以通過該功能向當前質(zhì)量負責人反饋在使用資產(chǎn)過程中遇到的質(zhì)量問題(如數(shù)據(jù)產(chǎn)出不穩(wěn)定、數(shù)據(jù)內(nèi)容不準確等),以通知相關負責人及時進行整改,從而推動提升資產(chǎn)可用性和健康度。配置詳情請參見添加并管理問題清單。 您需要開通數(shù)據(jù)質(zhì)量模塊才能使用反饋質(zhì)量問題功能。后續(xù),您可以在質(zhì)量模塊的問題清單中查看反饋問題的處理流程和結果。 生成select語句:單擊生成當前表查詢語句,可選擇是否需要添加轉義符。您可以復制查詢語句后到即席查詢或分析頁面查詢數(shù)據(jù)。 查看DDL語句:單擊查看當前數(shù)據(jù)表在租戶計算引擎中對應的DDL語句。此外,您也可以選擇數(shù)據(jù)源類型,單擊生成DDL語句,系統(tǒng)將生成在指定類型的數(shù)據(jù)源系統(tǒng)中創(chuàng)建與當前表相同結構的表DDL語句。若您勾選了自動添加轉義符,生成的DDL語句將根據(jù)選擇的源類型自動添加對應的轉義符,減少系統(tǒng)關鍵詞誤轉義等問題產(chǎn)生。 編輯表:支持跳轉至研發(fā)-表管理頁面,編輯該表的DDL信息,詳情請參見新建離線物理表。 導出字段:導出表中的字段信息,格式類型為CSV,便于其他開發(fā)或業(yè)務人員快速分析使用。 查看轉交記錄:為您展示當前數(shù)據(jù)表最近100條負責人轉交記錄。 查看權限列表:查看數(shù)據(jù)表權限信息。 刷新元數(shù)據(jù):若數(shù)據(jù)表不是通過Dataphin平臺創(chuàng)建,或由于系統(tǒng)元數(shù)據(jù)獲取延遲導致查詢新建表無結果時,您可以單擊刷新元數(shù)據(jù)獲取最新的元數(shù)據(jù)信息,將指定的數(shù)據(jù)表元數(shù)據(jù)刷新至Dataphin系統(tǒng)中。
說明 分析平臺表不支持去分析、申請權限、反饋質(zhì)量問題、編輯表、查看轉交記錄、查看權限列表操作。 |
②明細信息 | 為您展示表、字段和分區(qū)信息。 表詳情:為您展示該表的屬性信息,包括數(shù)據(jù)板塊、主題域、項目、最高涉密等級、是否分區(qū)表、是否分析平臺手工表、存儲類型、存儲格式、存儲量、生命周期。 項目:當前表歸屬的項目信息,單擊項目的名稱,可跳轉至該項目的資產(chǎn)詳情頁。 最高涉密等級:當前表字段已有的最高敏感等級,便于快速了解當前表數(shù)據(jù)的數(shù)據(jù)保密情況,數(shù)據(jù)分級等級從低到高為L1、L2、L3、L4(公開到絕密)及自定義的數(shù)據(jù)分級。 存儲類型:當前表的存儲類型,包括內(nèi)部表、外部表。 存儲量:當前表實際存儲大小,T+1更新。 生命周期:當前表的保存時間,單位為天。
字段信息:包括字段名稱、描述、數(shù)據(jù)類型、關聯(lián)標準(需購買數(shù)據(jù)標準模塊)、數(shù)據(jù)分類(需購買安全模塊)、數(shù)據(jù)分級(需購買安全模塊)、熱度信息,同時,您可以單擊操作列下的血緣關系圖標,查看以指定字段為中心的字段血緣關系。 分區(qū)信息:可查看數(shù)據(jù)表的分區(qū)信息。多級分區(qū)將按照各級分區(qū)組合結果展示,不同分區(qū)之間用 / 連接。例如:ds=20221001/pt1=a/pt2=b。注意:分區(qū)記錄數(shù)和存儲量信息僅供參考。
|
③血緣&影響 | 血緣為您展示表、字段之間的血緣關系。 影響分為數(shù)據(jù)表影響和集成同步影響,為您展示引用了當前表的直接下游表,引用了直接下游表的間接下游表以及對應的集成同步任務,最多15層。支持導出數(shù)據(jù)查看。 勾選僅展示直接下游表后,默認展示當前表直接影響的下游表,取消勾選將展現(xiàn)所有下游影響表,最多展示15層。 勾選僅展示當前表影響后,默認展示當前表作為輸入表的集成任務,取消勾選將展現(xiàn)當前及所有下游影響表作為輸入表的集成任務,最多展示15層。
|
④質(zhì)量概況 | 若您開通了數(shù)據(jù)質(zhì)量功能,為您展示當前數(shù)據(jù)表的規(guī)則校驗概覽和質(zhì)量監(jiān)控規(guī)則列表,單擊查看報告詳情按鈕或查看規(guī)則詳情按鈕,可快捷跳轉到數(shù)據(jù)質(zhì)量模塊對應頁面查看更多詳情。 |
⑤數(shù)據(jù)探查 | 若您開通了數(shù)據(jù)質(zhì)量功能,可以為數(shù)據(jù)表配置數(shù)據(jù)探查任務,快速了解數(shù)據(jù)概況,提前評估數(shù)據(jù)的可用性和潛在風險,如果您需要開啟自動探查,可以在元數(shù)據(jù)中心 > 探查配置中開啟相應配置,詳情請參見新建數(shù)據(jù)探查任務。 |
⑥數(shù)據(jù)預覽 | 若您擁有當前表的查表數(shù)據(jù)權限,可以使用數(shù)據(jù)預覽功能,否則需先申請查詢權限。如何申請,請參見申請、續(xù)期和交還表權限。
說明 數(shù)據(jù)預覽為您展示20條抽樣查詢數(shù)據(jù)。 |
⑦產(chǎn)出信息 | 產(chǎn)出任務包含該對象的數(shù)據(jù)寫入任務、血緣自動解析或自定義配置以當前表為輸出表的任務,以及節(jié)點輸出名稱=項目名.表名的任務。 產(chǎn)出任務列表準實時更新,產(chǎn)出明細T+1更新。 |
⑧使用說明 | 您可以為數(shù)據(jù)表添加使用說明,為數(shù)據(jù)瀏覽者和消費者提供信息參考。可單擊新增使用說明,填寫使用說明標題及內(nèi)容完成添加。 |
⑨資產(chǎn)信息 | 為您展示物理表的基礎信息、變更信息和使用信息等詳細信息。 基礎信息:包括表的環(huán)境、表類型、創(chuàng)建時間、創(chuàng)建人、負責人、產(chǎn)出任務。 負責人: 當前表的負責人,支持轉交當前表的負責人給其他用戶,在轉交負責人對話框中,您可以選擇是否同步轉交開發(fā)/生產(chǎn)環(huán)境表,選擇接收人后,單擊確定即可立即轉出,建議在轉交后及時同步接收人。您可以在轉交記錄頁面查看轉交信息,詳情請參見查看轉交記錄。 產(chǎn)出任務:您可查看當前表產(chǎn)出任務,包含該對象的數(shù)據(jù)寫入任務、血緣解析或配置以當前表為輸出表的任務,以及節(jié)點輸出名稱 = 項目名.表名的任務。單擊產(chǎn)出任務的名稱,跳轉至該數(shù)據(jù)表的運維詳情頁。
變更信息:包括數(shù)據(jù)變更、最近訪問、DDL變更。 數(shù)據(jù)變更:Dataphin基于SQL解析到的最近1次表內(nèi)容變更時間(對應DML操作),外部系統(tǒng)觸發(fā)的變更不統(tǒng)計,實時更新。 最近訪問:Dataphin基于SQL解析到的最近1次select時間(對應DQL操作),外部系統(tǒng)觸發(fā)的訪問不統(tǒng)計,實時更新。 DDL變更:Dataphin基于SQL解析到的最近1次表結構變更時間(對應DDL操作),外部系統(tǒng)觸發(fā)的變更不統(tǒng)計,實時更新。
使用信息:包括收藏數(shù)、瀏覽量、訪問次數(shù)。 收藏數(shù):為您展示收藏當前表的用戶數(shù),實時更新。 瀏覽量:為您展示當前數(shù)據(jù)表的訪問頁次(PV),每刷新1次增加1次,實時更新。 訪問次數(shù):基于SQL解析到該表在Dataphin任務中被select時(對應DQL操作),計算為1次,T+1更新,展示最近30天的總訪問次數(shù)。
|
表級血緣
表級血緣頁面為您展示包括集成同步任務、自定義血緣的計算任務及系統(tǒng)可自動解析血緣的SQL計算任務和邏輯表任務血緣關系圖。
序號 | 描述 |
①快捷操作區(qū) | 僅展示直接血緣:選中后僅展示當前表直接血緣關系的上下游相關表。
說明 直接血緣是通過select、insert等語句讀取或寫入的上下游相關資產(chǎn)。 關聯(lián)血緣是通過join、group by、where條件等方式引用的相關資產(chǎn)。 表級血緣只要包含有直接血緣的字段就會展示對應的標識。
隱藏數(shù)據(jù)源表:選中后將隱藏來自數(shù)據(jù)源的表對象及其下游。 隱藏已刪除表:血緣在提交和發(fā)布任務時進行解析。特殊情況下,如果數(shù)據(jù)表不是通過Dataphin調(diào)度任務刪除的(如通過即席查詢刪除或直接在引擎?zhèn)葎h除),則不會觸發(fā)血緣更新,仍會展示在血緣圖中。勾選后,將不會展示已經(jīng)刪除的表對象。
|
②圖例區(qū) | 表級血緣支持的數(shù)據(jù)表,包括物理表、維度邏輯表、事實邏輯表、匯總邏輯表、標簽邏輯表、物理視圖、物化視圖、邏輯視圖、元表、鏡像表、數(shù)據(jù)源表。 |
③血緣圖展示區(qū) | 為您展示完整的血緣鏈路圖,可手動展開多級上游或下游,支持根據(jù)數(shù)據(jù)表名稱關鍵字進行模糊搜索。 特殊的,若存在循環(huán)依賴,則無法繼續(xù)展開,需從起始節(jié)點繼續(xù)查看下游。 |
④對象詳情區(qū) | 鼠標懸停在表上,為您展示表的詳情。 數(shù)據(jù)源表:為您展示表的名稱、對象類型、存儲格式、所屬數(shù)據(jù)源、血緣來源。 Dataphin數(shù)據(jù)表:為您展示表的名稱、對象類型、存儲格式、邏輯表及邏輯視圖的所屬板塊/物理表及物理視圖的所屬項目、負責人、存儲量、生命周期(Hadoop集群的計算引擎不支持展示該信息)、描述、血緣來源信息,同時您可以進行查看血緣、查看DDL和申請權限操作。 |
字段級血緣
字段血緣頁面為您展示自定義血緣的計算任務及系統(tǒng)可自動解析血緣的SQL計算任務和邏輯表任務的血緣關系圖。
序號 | 描述 |
①快捷操作區(qū) | |
②圖例區(qū) | 字段血緣支持的字段,包括計算源表字段、數(shù)據(jù)源表字段。 |
③血緣圖展示區(qū) | 為您展示完整的血緣鏈路圖,可手動展開多級上游或下游,支持根據(jù)字段名稱關鍵字進行模糊搜索。 特殊的,若存在循環(huán)依賴,則無法繼續(xù)展開,需從起始節(jié)點繼續(xù)查看下游。 單擊中心字段可通過字段關鍵字進行模糊搜索以切換查看不同字段的血緣關系圖。 |
④對象詳情區(qū) | 鼠標懸停在字段上,為您展示字段的名稱、對象類型、存儲格式、字段所在邏輯表及邏輯視圖的所屬板塊/字段所在物理表及物理視圖的所屬項目、所屬表、表負責人、數(shù)據(jù)類型、描述、血緣來源信息,同時您可以進行查看血緣和申請權限操作。 |
產(chǎn)出明細
您可查看該數(shù)據(jù)表產(chǎn)出任務,包含該對象的數(shù)據(jù)寫入任務、血緣解析或配置以當前表為輸出表的任務,以及節(jié)點輸出名稱=項目名.表名的任務。
序號 | 描述 |
①任務詳情 | 為您展示節(jié)點名稱、任務ID、所屬板塊、負責人信息。 |
②周期實例 | 為您展示平均開始時間、平均產(chǎn)出時間、平均運行時長信息。 平均開始時間:統(tǒng)計最近15天所有正常調(diào)度的周期實例,第一次運行開始時間的平均值,T+1更新。 平均產(chǎn)出時間:統(tǒng)計最近15天所有正常調(diào)度的周期實例,第一次運行成功的結束時間的平均值,重跑場景不納入統(tǒng)計,T+1更新。 平均運行時長:統(tǒng)計最近15天所有正常調(diào)度的周期實例,所有運行成功記錄的平均運行時長的平均值,其中腳本任務的平均運行時長統(tǒng)計包括重跑場景,邏輯表任務的平均運行時長統(tǒng)計不包括重跑場景,T+1更新。
說明 小時、分鐘實例支持按照周期查看運行明細,以當前任務最新調(diào)度配置劃分的周期區(qū)間為準,計算定時時間相同的歷史實例對應的運行平均值。
|
③運行明細 | 為您展示業(yè)務日期、狀態(tài)、定時時間、開始時間、結束時間、運行時長信息。同時,您可以在操作列下進行查看實例、查看日志操作。 |
字段詳情
為您展示當前字段所在數(shù)據(jù)表的表詳情,詳情請參見物理表詳情。