模型創建成功后,您需將維度表、明細表、匯總表、應用表通過發布操作物化至所需物理引擎。本文為您介紹如何發布模型并查看發布記錄。
前提條件
已創建所需模型。DataWorks支持如下建模方式:
發布模型
維度表、明細表、匯總表、應用表可直接發布物化至創建的數據源實例中,用于后續計算引擎進行數據開發、數據分析等。當前支持將表直接發布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。
您也可以直接將表內容導出,然后手動導入至引擎中進行使用。手動導出支持MaxCompute、Hologres、Hive引擎,導入導出方法請參見導入方式建模。
發布模型。
模型創建完成后,您可單擊表詳情頁頂部菜單欄的圖標,在彈出的發布對話框中配置如下參數。
參數
描述
發布類型
可選擇發布當前模型為物理表、視圖、物化視圖。
說明當選擇發布模型為視圖時,則僅支持物化至MaxCompute引擎。
物化視圖(Materialized View)本質是一種預計算,即把某些耗時的操作(例如JOIN、AGGREGATE)的結果保存下來,以便在查詢時直接復用,從而避免這些耗時的操作,最終達到加速查詢的目的。更多介紹詳情請參見物化視圖操作。
當選擇發布模型為物化視圖時,則僅支持刪除重建發布模式。
工作空間
可選擇當前模型需要物化發布到哪個工作空間,該參數為可選參數。
已設置建模空間:此處可選擇在
已添加為數據研發工作空間的工作空間。未設置建模空間:界面不顯示此參數,默認物化發布到當前所在的工作空間。
說明添加數據研發工作空間的操作詳情請參見建模空間。
引擎類型
選擇數據存儲的引擎,目前可選如下幾類。
MaxCompute、EMR Hive、Hologres、CDH、MySQL。
說明當選擇發布模型為視圖時,則僅支持物化至MaxCompute引擎。
物化視圖(Materialized View)本質是一種預計算,即把某些耗時的操作(例如JOIN、AGGREGATE)的結果保存下來,以便在查詢時直接復用,從而避免這些耗時的操作,最終達到加速查詢的目的。更多介紹詳情請參見物化視圖操作。
當選擇發布模型為物化視圖時,則僅支持刪除重建發布模式。
引擎實例
根據需求將表物化至引擎類型參數中相應類型的數據存儲引擎。
生效環境
可選擇發布至開發或生產環境。
說明如果您使用的是簡單模式的DataWorks工作空間,則僅支持發布表到生產環境。
如果您使用的是標準模式的DataWorks工作空間,則支持發布表到生產環境或開發環境。
發布模式
增量發布:選擇該模式,發布時僅會將目標模型此次變更的內容發布至對應引擎。
刪除重建:選擇該模式,發布時會將對應引擎中之前已發布的該模型刪除,刪除后再重新創建此次發布的模型。
說明如果您的模型是首次發布,則無論選擇哪種模式,系統均會在對應的引擎中新增該模型。
當選擇發布模型為物化視圖時,則僅支持使用刪除重建模式。
獨享資源組
選擇模型表物化為E-MapReduce或CDH的物理表時,所使用的獨享調度資源組。
說明發布E-MapReduce或CDH的物理表僅支持使用獨享調度資源組。
如果您沒有合適的獨享調度資源組,則可參考新增和使用獨享調度資源組新建。
發布備注
描述本次發布的相關內容。
DDL
DataWorks根據模型配置自動為您生成發布為物化視圖的SQL語句。由于SELECT語句必須執行成功此處發布才會成功,因此您需手動修改
AS SELECT
語句為可執行的SQL語句。說明僅當選擇發布模型為物化視圖時,需配置該參數。
物化視圖的DDL操作,詳情請參見物化視圖操作。
配置完成后單擊發布,系統會將模型發布至對應的開發或生產環境,并物化至所選引擎。
說明您可在發布對話框查看當前發布進度。
您可重復執行發布操作將模型發布至不同的環境中。
可選:發布完成后,您可單擊表詳情頁頂部菜單欄的圖標,查看最近一次發布操作的發布結果以及發布的詳細信息。
其中,發布狀態包含發布成功、發布失敗、發布中三種狀態。發布成功的日志如下圖所示。
說明當系統提示
deploy plan execute success
時,也表示發布成功。當發布狀態為發布失敗時,您需要根據具體的報錯信息盡快定位原因并處理。
當發布日志對話框顯示暫無發布日志,表示模型表從未被發布過。
查看發布記錄
模型發布成功后,您可進入模型的編輯頁面,單擊右側導航欄的發布記錄,查看模型歷史發布版本的詳情。
后續步驟
模型發布至目標引擎后,您可進入DataWorks的數據開發頁面,基于該匯總表進行相關的數據開發操作。數據開發的功能介紹,詳情請參見數據開發界面功能介紹。