當您的物理引擎中已有大量物理表,且希望通過DataWorks智能數據建模產品統一管理所有模型,則可使用逆向建模功能,將已有物理表反向建模至DataWorks的維度建模中。該功能幫助您無需再次執行建模操作即可快速創建模型,節省了大量的時間成本。本文為您介紹如何進行逆向建模。
前提條件
使用限制
當前僅支持對MaxCompute、EMR Hive引擎中生產環境的表進行逆向建模。
建模流程
逆向建模主要用于將大數據引擎中已經存在的物理表反向建模至DataWorks的維度建模中,其建模流程如下:
配置逆向建模策略。
建模范圍:創建模型前,您需要根據業務需求確定需要將哪些表逆向生成模型。
該過程需確定表所在的工作空間、引擎實例,以及使用精準名稱還是關鍵字匹配表名,匹配到的表后續將會被逆向生成相應模型。
建模規則:確定逆向創建的模型所屬的分層及命名規范。
該過程您可使用檢查器或自定義方式規范模型名稱。統一同一分層中模型的命名格式,便于通過名稱即可了解該模型所屬的業務類型、數據粒度等信息。模型名稱檢查器詳情,請參見配置及使用數倉分層檢查器。
建模執行方式:確定建模時是全量新建目標模型,還是僅創建維度建模中不存在的目標模型。
說明逆向建模為不可逆操作,創建逆向策略并使用該策略生成模型后,該策略則不可被更改,請您根據實際業務需求提前做好策略規劃。
詳情請參見配置逆向建模策略。
解析并匹配模型。
DataWorks會根據您配置的建模策略進行解析,匹配出待創建的模型。
確認模型信息。
DataWorks初步生成的表模型可能會存在偏差,您需要根據業務需求進行模型信息的調整。例如,更改表所在的數據域、業務過程等模型基礎信息。詳情請參見確認模型信息。
生成最終模型。
建模完成后,您可查看生成的模型信息及狀態。查看建模失敗的模型錯誤信息,快速定位問題并及時處理。
說明建模成功的模型已被物化至相應引擎,您無需再進行發布。
建模成功的模型會被存放至維度建模中,您可以進入維度建模頁面查看并進行后續的管理操作,詳情請參見模型管理。
操作步驟
進入逆向建模。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據建模。
在智能數據建模頁面頂部導航欄,單擊維度建模,進入維度建模頁面。
在維度建模頁面的左側導航欄,單擊逆向建模,進入逆向建模頁面。
啟動建模。
首次使用逆向建模,請單擊逆向建模界面中間的快速開始,啟動建模。
非首次使用逆向建模,請單擊建模列表右上角的開始逆向建模,啟動建模。
配置逆向策略。
說明逆向建模為不可逆操作,創建逆向策略并使用該策略生成模型后,該策略則不可被更改,請您根據實際業務需求提前做好策略規劃。
配置策略信息。
參數
描述
項目空間
選擇待逆向建模的表所在的DataWorks工作空間。
說明僅支持選擇當前登錄用戶所在的DataWorks工作空間(即該用戶為工作空間成員)。如果您需要選擇目標DataWorks工作空間,則可添加用戶為工作空間成員,詳情請參見空間級模塊權限管控。
引擎類型
當前僅支持逆向建模MaxCompute、EMR Hive引擎中生產項目的物理表。
引擎實例
選擇待逆向建模的表所在的引擎實例。
表名匹配規則
選擇使用英文名稱的關鍵字或精準全稱在目標引擎中匹配相應表,后續會對匹配結果進行逆向建模。匹配方式如下:
模糊匹配:輸入關鍵詞,即可匹配到名稱中包含該關鍵詞的所有表。
精準匹配:輸入的表名稱為表的精準全稱。
說明多個表名稱之間使用英文分號(;)分隔,并且英文分號(;)后不能添加空格。
若未匹配到任何滿足條件的表,則此次逆向建模失敗,即不會生成任何模型。
逆向后模型所在數據分層
公共層:創建明細表、維度表、匯總表時,可選擇該層級。
應用層:創建應用表、維度表時,可選擇該層級。
表命名規范
用于解析通過表名匹配規則匹配到的表名稱,來規范逆向建模后的模型名稱,并將模型掛載至相應的數倉層級下。具體如下:
解析規則
解析匹配到的表名稱及下劃線個數。
表名稱最多可包含9個下劃線,每兩個下劃線之間可選擇配置為業務過程、數據域、自定義內容等信息。
當識別到表名稱包含對應數倉層級時,則該表逆向生成的模型將掛載至對應的層級下。
說明當識別到表名稱中不存在對應的數據域、業務過程等數倉層級時,則該模型的分層為空。您可在確認模型信息時修改相應模型所屬的分層。
解析方式
表名檢查器:選擇已創建的檢查器解析匹配到的表名稱。創建檢查器,詳情請參見配置及使用數倉分層檢查器。
自定義:通過自由組合業務過程、數據域、業務分類、自定義內容等信息,解析匹配到的表名稱。
執行方式
選擇創建模型的方式:
全量覆蓋:DataWorks會將所有匹配到的表逆向創建至維度建模中。
當您需要全量重新為匹配結果創建模型時,可選擇該方式。
說明如果維度建模中已存在匹配結果對應的模型,選擇全量覆蓋時會將原已存在的模型刪除重建。
增量更新:DataWorks會對匹配結果進行如下處理:
識別匹配結果在維度建模中是否已創建模型,并將已創建模型的表過濾。
將維度建模中未創建模型的匹配結果逆向建模至維度建模中。
當您知曉部分匹配結果在維度建模中已創建模型,并且該匹配結果未改動,不希望重復創建時,可選擇該方式。
單擊開始創建模型,通過建模策略進行模型解析。
確認模型信息。
確認模型信息。
DataWorks根據您配置的建模策略生成初步模型,您可結合實際需求,調整表類型,以及所屬的數倉分層、數據域等信息。同時,當目標表無需建模時,也可將其刪除。
單擊開始生成模型,生成模型。
查看建模結果。
模型生成后,您可查看本次成功創建的各類型模型數量,以及建模失敗的表詳細信息,單擊錯誤日志,即可快速定位問題原因并及時處理。
說明建模成功的模型已被物化至相應引擎,您無需再進行發布。
建模成功的模型會被存放至維度建模中,您可以進入維度建模頁面查看并進行后續的管理操作,詳情請參見模型管理。
查看建模列表
在
頁面,您可查看已創建任務的詳細信息及操作日志。區域 | 描述 |
1 | 在該區域,您可通過任務ID、操作人、操作日期進行篩選,查看指定條件的逆向建模任務。 |
2 | 在該區域,您可查看逆向建模任務的逆向規則、建模結果等詳情。
|
后續步驟
逆向建模完成后,您可執行如下操作: