DataWorks On Hologres使用說明
DataWorks基于實(shí)時(shí)數(shù)倉(cāng)Hologres輕松構(gòu)建實(shí)時(shí)數(shù)倉(cāng)與即席分析系統(tǒng)。Hologres可通過DataWorks提供的可視化方式配置任務(wù)工作流、周期性調(diào)度執(zhí)行任務(wù)及元數(shù)據(jù)管理，保障數(shù)據(jù)生產(chǎn)及管理的高效穩(wěn)定。本文為您介紹在DataWorks上開發(fā)Hologres任務(wù)的基本流程、費(fèi)用說明、環(huán)境準(zhǔn)備、權(quán)限控制等內(nèi)容。
前提條件
已開通DataWorks，詳情請(qǐng)參見開通DataWorks服務(wù)。
已開通Hologres，詳情請(qǐng)參見開通Hologres。
已創(chuàng)建DataWorks工作空間，詳情請(qǐng)參見創(chuàng)建工作空間。
使用說明
DataWorks on Hologres的相關(guān)開發(fā)說明如下。
類別 | 說明 |
在DataWorks上進(jìn)行Hologres任務(wù)開發(fā)，除DataWorks側(cè)產(chǎn)品費(fèi)用外，還會(huì)產(chǎn)出其他產(chǎn)品側(cè)費(fèi)用。 | |
在DataWorks上進(jìn)行Hologres任務(wù)開發(fā)前，您需根據(jù)業(yè)務(wù)需求購(gòu)買相應(yīng)DataWorks版本及所需資源組，并完成相關(guān)Hologres數(shù)據(jù)源的創(chuàng)建及綁定工作。 | |
DataWorks為您提供了產(chǎn)品級(jí)與模塊級(jí)的權(quán)限控制，您可根據(jù)業(yè)務(wù)需求對(duì)不同用戶授權(quán)不同權(quán)限，實(shí)現(xiàn)權(quán)限的精細(xì)化管理。 | |
DataWorks數(shù)據(jù)集成提供Hologres數(shù)據(jù)讀取與寫入的能力，并提供離線同步、實(shí)時(shí)同步、全增量同步任務(wù)等多種數(shù)據(jù)同步場(chǎng)景。 | |
DataWorks提供數(shù)據(jù)建模服務(wù)，將無序、雜亂、繁瑣、龐大且難以管理的數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化有序的管理。還提供數(shù)據(jù)開發(fā)（DataStudio）功能，用于調(diào)度任務(wù)的開發(fā)，并與運(yùn)維中心配合使用，進(jìn)行調(diào)度任務(wù)的監(jiān)控運(yùn)維。 | |
DataWorks數(shù)據(jù)分析提供Hologres數(shù)據(jù)分析與服務(wù)共享能力。 | |
DataWorks提供Hologres元數(shù)據(jù)管理與數(shù)據(jù)治理能力。 | |
DataWorks提供數(shù)據(jù)服務(wù)能力，幫助您統(tǒng)一管理面向內(nèi)外部的API服務(wù)。 | |
DataWorks支持開放能力，幫助您快速實(shí)現(xiàn)各類應(yīng)用系統(tǒng)對(duì)接DataWorks，并進(jìn)行數(shù)據(jù)流程管控、數(shù)據(jù)治理和運(yùn)維，及時(shí)響應(yīng)各應(yīng)用系統(tǒng)對(duì)接DataWorks的業(yè)務(wù)狀態(tài)變化。 |
費(fèi)用說明
DataWorks數(shù)據(jù)開發(fā)與運(yùn)維中心提供Hologres數(shù)據(jù)同步、數(shù)據(jù)加工任務(wù)的周期調(diào)度，不僅包含DataWorks相關(guān)費(fèi)用，同時(shí)會(huì)產(chǎn)生產(chǎn)品側(cè)其他費(fèi)用，具體如下。
一、DataWorks相關(guān)費(fèi)用
以下費(fèi)用會(huì)體現(xiàn)在DataWorks產(chǎn)品相關(guān)賬單中。DataWorks計(jì)費(fèi)詳情請(qǐng)參見DataWorks計(jì)費(fèi)項(xiàng)說明。
費(fèi)用 | 說明 |
DataWorks版本費(fèi)用 | 進(jìn)行任務(wù)開發(fā)前，您需先開通DataWorks。如果開通的是DataWorks標(biāo)準(zhǔn)版、專業(yè)版、企業(yè)版，則在開通時(shí)需支付相應(yīng)版本的版本費(fèi)用。 |
任務(wù)調(diào)度的調(diào)度資源費(fèi)用 | 任務(wù)開發(fā)完成后，進(jìn)行任務(wù)調(diào)度需使用調(diào)度資源。您可使用Serverless資源組（推薦）或舊版獨(dú)享調(diào)度資源組，支付相應(yīng)資源組費(fèi)用。 說明 購(gòu)買的Serverless資源組可滿足任務(wù)調(diào)度、數(shù)據(jù)同步共同使用。 |
數(shù)據(jù)同步的同步資源費(fèi)用 | 運(yùn)行數(shù)據(jù)同步任務(wù)時(shí)，除調(diào)度資源外，還需使用數(shù)據(jù)同步資源。您可使用Serverless資源組（推薦）或舊版獨(dú)享數(shù)據(jù)集成資源組，支付相應(yīng)資源組費(fèi)用。 |
DataStudio界面使用運(yùn)行、帶參運(yùn)行功能執(zhí)行的任務(wù)，不會(huì)收取調(diào)度費(fèi)用。
沒有實(shí)際執(zhí)行成功的任務(wù)及空跑的任務(wù)不收取調(diào)度費(fèi)用。
您可參考DataWorks調(diào)度任務(wù)下發(fā)邏輯，以輔助了解上述計(jì)費(fèi)說明。
二、非DataWorks相關(guān)費(fèi)用
以下費(fèi)用不會(huì)體現(xiàn)在DataWorks產(chǎn)品相關(guān)賬單中。任務(wù)開發(fā)運(yùn)行過程中可能會(huì)產(chǎn)生的其他費(fèi)用如下。
涉及其他產(chǎn)品的費(fèi)用，收費(fèi)情況以對(duì)應(yīng)產(chǎn)品的收費(fèi)邏輯決定，您可查看對(duì)應(yīng)產(chǎn)品的計(jì)費(fèi)文檔了解詳情。以Hologres為例，計(jì)費(fèi)詳情請(qǐng)參見Hologres計(jì)費(fèi)項(xiàng)說明。
費(fèi)用 | 說明 |
數(shù)據(jù)庫(kù)費(fèi)用 | 數(shù)據(jù)同步時(shí)，讀寫上下游數(shù)據(jù)庫(kù)中的數(shù)據(jù)，可能會(huì)產(chǎn)生數(shù)據(jù)庫(kù)費(fèi)用。 |
計(jì)算和存儲(chǔ)費(fèi)用 | 運(yùn)行計(jì)算引擎任務(wù)時(shí)，可能會(huì)產(chǎn)生計(jì)算引擎的計(jì)算和存儲(chǔ)費(fèi)用。例如，運(yùn)行一個(gè)Hologres SQL任務(wù)，查詢Hologres的數(shù)據(jù)，可能會(huì)產(chǎn)生Hologres的計(jì)算和存儲(chǔ)費(fèi)用。 |
網(wǎng)絡(luò)服務(wù)費(fèi)用 | 連通DataWorks和其他相關(guān)產(chǎn)品的網(wǎng)絡(luò)環(huán)境時(shí)，可能會(huì)產(chǎn)生網(wǎng)絡(luò)服務(wù)費(fèi)用。例如，使用高速通道、共享帶寬、EIP等產(chǎn)品連通網(wǎng)絡(luò)時(shí)，會(huì)產(chǎn)生相應(yīng)產(chǎn)品的服務(wù)費(fèi)用。 |
環(huán)境準(zhǔn)備
在DataWorks上進(jìn)行Hologres任務(wù)開發(fā)前，您需根據(jù)業(yè)務(wù)需求購(gòu)買相應(yīng)DataWorks版本及所需資源組，并完成相關(guān)Hologres引擎綁定及開發(fā)環(huán)境的準(zhǔn)備工作，具體如下表。
一、資源準(zhǔn)備
DataWorks提供具備豐富產(chǎn)品能力的標(biāo)準(zhǔn)版、專業(yè)版、企業(yè)版，以及租戶專有的Serverless資源組，您可結(jié)合實(shí)際業(yè)務(wù)開發(fā)需要選擇。
類別 | 描述 | 相關(guān)文檔 |
版本選擇 | DataWorks基礎(chǔ)版服務(wù)可滿足Hologres開發(fā)中基本的數(shù)據(jù)上云、數(shù)據(jù)開發(fā)與調(diào)度生產(chǎn)、簡(jiǎn)單的數(shù)據(jù)治理工作，若需獲取更專業(yè)的數(shù)據(jù)治理、數(shù)據(jù)安全解決方案，可選擇相應(yīng)的標(biāo)準(zhǔn)版、專業(yè)版、企業(yè)版服務(wù)。 | |
資源組選擇 |
|
二、開發(fā)環(huán)境準(zhǔn)備
您需先將Hologres實(shí)例創(chuàng)建為DataWorks工作空間的數(shù)據(jù)源并綁定至數(shù)據(jù)開發(fā)（DataStudio），才可進(jìn)行相關(guān)開發(fā)工作。同時(shí)，支持以工作空間為單位管理空間成員以便進(jìn)行協(xié)同開發(fā)。
類別 | 描述 | 相關(guān)文檔 |
數(shù)據(jù)同步環(huán)境準(zhǔn)備 | 基于DataWorks進(jìn)行Hologres同步任務(wù)前，您需先將Hologres實(shí)例創(chuàng)建為工作空間的數(shù)據(jù)源。創(chuàng)建后，才可使用該數(shù)據(jù)源執(zhí)行相關(guān)同步任務(wù)。 | |
數(shù)據(jù)開發(fā)、數(shù)據(jù)分析環(huán)境準(zhǔn)備 | 基于DataWorks進(jìn)行Hologres調(diào)度任務(wù)前，您需先將Hologres實(shí)例創(chuàng)建為工作空間的數(shù)據(jù)源并綁定至數(shù)據(jù)開發(fā)（DataStudio）。綁定后，才可使用該數(shù)據(jù)源進(jìn)行相關(guān)數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、周期性調(diào)度運(yùn)行任務(wù)等操作。 | |
協(xié)同開發(fā)環(huán)境準(zhǔn)備 | 為保障RAM用戶以工作空間為單位進(jìn)行協(xié)同開發(fā)，您需執(zhí)行如下操作：
|
權(quán)限控制
DataWorks為您提供了產(chǎn)品級(jí)與模塊級(jí)的權(quán)限控制，您可根據(jù)業(yè)務(wù)需求對(duì)不同用戶授權(quán)不同權(quán)限。權(quán)限控制相關(guān)介紹如下。
一、數(shù)據(jù)訪問權(quán)限控制
加入至DataWorks工作空間進(jìn)行Hologres任務(wù)開發(fā)的RAM用戶，至少需要擁有計(jì)算引擎實(shí)例權(quán)限、工作空間綁定的Hologres數(shù)據(jù)源相關(guān)權(quán)限，及相關(guān)表的權(quán)限才可在DataWorks進(jìn)行數(shù)據(jù)開發(fā)操作。詳情請(qǐng)參見Hologres權(quán)限管理。
二、功能模塊權(quán)限控制
進(jìn)行數(shù)據(jù)開發(fā)前，您可為用戶授權(quán)指引授予工作空間成員不同空間角色，讓其擁有不同的操作權(quán)限。權(quán)限類型如下：
通過RAM Policy權(quán)限體系，管理DataWorks功能模塊（例如，不允許用戶訪問數(shù)據(jù)地圖）與DataWorks控制臺(tái)的權(quán)限（例如，允許用戶刪除工作空間）。
通過RBAC權(quán)限模型，管理DataWorks空間級(jí)模塊（例如，允許用戶進(jìn)入數(shù)據(jù)開發(fā)執(zhí)行相關(guān)開發(fā)操作）與全局模塊的使用權(quán)限（例如，禁止用戶訪問數(shù)據(jù)保護(hù)傘模塊）。
開始使用
DataWorks為您提供了多個(gè)功能模塊，您可在數(shù)據(jù)開發(fā)（DataStudio）中進(jìn)行調(diào)度任務(wù)的開發(fā)，并在開發(fā)完成后進(jìn)入生產(chǎn)運(yùn)維中心進(jìn)行調(diào)度任務(wù)的監(jiān)控運(yùn)維。同時(shí)，提供了任務(wù)開發(fā)與發(fā)布的流程管控，助力您規(guī)范開發(fā)操作，保障開發(fā)過程的安全性。
一、數(shù)據(jù)集成
DataWorks的數(shù)據(jù)集成模塊為您提供讀取和寫入數(shù)據(jù)至Hologres的能力，您可將其他數(shù)據(jù)源的數(shù)據(jù)同步至Hologres數(shù)據(jù)源，或?qū)ologres數(shù)據(jù)源的數(shù)據(jù)同步至其他數(shù)據(jù)源。同時(shí)，可根據(jù)需要選擇離線同步、實(shí)時(shí)同步、全增量同步任務(wù)等場(chǎng)景執(zhí)行相關(guān)數(shù)據(jù)同步操作。詳情請(qǐng)參見數(shù)據(jù)集成。
二、數(shù)據(jù)建模與開發(fā)
模塊 | 描述 | 相關(guān)文檔 |
數(shù)據(jù)建模 | 數(shù)據(jù)建模是全鏈路數(shù)據(jù)治理的第一步，沉淀阿里巴巴數(shù)據(jù)中臺(tái)建模方法論，從數(shù)倉(cāng)規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)、維度建模、數(shù)據(jù)指標(biāo)四個(gè)方面，以業(yè)務(wù)視角對(duì)業(yè)務(wù)的數(shù)據(jù)進(jìn)行詮釋，讓企業(yè)內(nèi)部實(shí)現(xiàn)“數(shù)同文”的快速理解與流通。 | |
數(shù)據(jù)開發(fā) | DataWorks將Hologres計(jì)算引擎的能力進(jìn)行了封裝，支持您執(zhí)行Hologres相關(guān)的數(shù)據(jù)同步、數(shù)據(jù)開發(fā)任務(wù)。
| |
您可結(jié)合DataWorks的通用類型節(jié)點(diǎn)和引擎計(jì)算節(jié)點(diǎn)進(jìn)行復(fù)雜的邏輯處理。 主要節(jié)點(diǎn)如下：
| ||
節(jié)點(diǎn)任務(wù)開發(fā)完成后，可根據(jù)需要執(zhí)行如下操作：
| ||
運(yùn)維中心 | 運(yùn)維中心是一站式大數(shù)據(jù)運(yùn)維、監(jiān)控平臺(tái)，支持實(shí)時(shí)查看任務(wù)的運(yùn)行狀態(tài)，并為異常任務(wù)提供智能診斷、重跑等運(yùn)維操作。它提供智能基線功能，幫助您解決重要任務(wù)產(chǎn)出時(shí)間不可控、海量任務(wù)監(jiān)控難等問題，保障任務(wù)產(chǎn)出的時(shí)效性。 | |
數(shù)據(jù)質(zhì)量 | 數(shù)據(jù)質(zhì)量針對(duì)數(shù)據(jù)研發(fā)的全鏈路，保障數(shù)據(jù)可用性。通過對(duì)數(shù)據(jù)質(zhì)量規(guī)則的高效校驗(yàn)，以及與任務(wù)調(diào)度流程的緊密結(jié)合，可以幫助用戶第一時(shí)間發(fā)現(xiàn)質(zhì)量問題、有效防止數(shù)據(jù)質(zhì)量問題擴(kuò)散，為業(yè)務(wù)提供高效、可靠、可信賴的數(shù)據(jù)。 |
三、數(shù)據(jù)分析
幫助您實(shí)現(xiàn)在線SQL分析、業(yè)務(wù)洞察、編輯和分享數(shù)據(jù)；并支持將查詢結(jié)果保存為圖表卡片，快速搭建可視化數(shù)據(jù)報(bào)告便于日常匯報(bào)。詳情請(qǐng)參見數(shù)據(jù)分析概述。
四、數(shù)據(jù)治理
Hologres數(shù)據(jù)源綁定完成后，DataWorks將自動(dòng)采集您數(shù)據(jù)源下的元數(shù)據(jù)，您可前往數(shù)據(jù)地圖進(jìn)行查看；同時(shí)，也可進(jìn)入數(shù)據(jù)治理中心，查看DataWorks檢測(cè)的待治理問題，進(jìn)行相關(guān)數(shù)據(jù)的治理。
模塊 | 說明 | 相關(guān)文檔 |
數(shù)據(jù)地圖 | DataWorks數(shù)據(jù)地圖提供了企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)，能夠基于統(tǒng)一元數(shù)據(jù)的底層建設(shè)，提供數(shù)據(jù)對(duì)象的管理和盤點(diǎn)的能力，以及數(shù)據(jù)對(duì)象的快速查找和深度理解的能力。 | |
安全中心 數(shù)據(jù)保護(hù)傘 審批中心 | 安全中心是集數(shù)據(jù)資產(chǎn)分級(jí)分類、敏感數(shù)據(jù)識(shí)別、數(shù)據(jù)授權(quán)管理、敏感數(shù)據(jù)脫敏、敏感數(shù)據(jù)訪問審計(jì)、風(fēng)險(xiǎn)識(shí)別與響應(yīng)于一體的一站式數(shù)據(jù)安全治理界面，幫助用戶落地?cái)?shù)據(jù)安全治理事項(xiàng)。 | |
數(shù)據(jù)治理中心 | 數(shù)據(jù)治理中心針對(duì)多個(gè)治理領(lǐng)域，通過數(shù)據(jù)領(lǐng)域規(guī)則沉淀、自動(dòng)識(shí)別資產(chǎn)待優(yōu)化問題項(xiàng)、覆蓋事后及事前的治理優(yōu)化策略等方式幫助用戶主動(dòng)式、體系化完成數(shù)據(jù)治理工作。 |
五、數(shù)據(jù)服務(wù)
DataWorks數(shù)據(jù)服務(wù)旨在為企業(yè)提供全面的數(shù)據(jù)服務(wù)及共享能力，幫助企業(yè)統(tǒng)一管理面向內(nèi)外部的API服務(wù)。詳情請(qǐng)參見數(shù)據(jù)服務(wù)概述。
六、開放平臺(tái)
DataWorks支持開放能力，幫助您快速實(shí)現(xiàn)各類應(yīng)用系統(tǒng)對(duì)接DataWorks、方便快捷的進(jìn)行數(shù)據(jù)流程管控、數(shù)據(jù)治理和運(yùn)維，及時(shí)響應(yīng)應(yīng)用系統(tǒng)對(duì)接DataWorks的業(yè)務(wù)狀態(tài)變化。
類別 | 描述 | 相關(guān)文檔 |
OpenAPI | DataWorks開放平臺(tái)的OpenAPI功能，為您提供開放API能力，通過開放API實(shí)現(xiàn)本地服務(wù)和DataWorks服務(wù)的交互，提升企業(yè)大數(shù)據(jù)處理效率，減少人工操作和運(yùn)維工作，降低數(shù)據(jù)風(fēng)險(xiǎn)和企業(yè)成本。 | |
開放事件 | DataWorks開放平臺(tái)的開放事件（OpenEvent）功能，為您提供消息訂閱服務(wù)，通過訂閱DataWorks事件狀態(tài)、應(yīng)用系統(tǒng)對(duì)接DataWorks、實(shí)時(shí)獲取相關(guān)內(nèi)容的狀態(tài)變化，幫助您及時(shí)響應(yīng)相應(yīng)事件，滿足個(gè)性化決策需求。 | |
擴(kuò)展程序 | DataWorks通過OpenEvent為您提供消息推送訂閱功能，您可將服務(wù)程序注冊(cè)為DataWorks的擴(kuò)展程序，通過擴(kuò)展程序來卡點(diǎn)并響應(yīng)訂閱的事件消息，實(shí)現(xiàn)通過擴(kuò)展程序?qū)μ囟ㄊ录M(jìn)行消息通知與流程管控。 |
附錄：DataWorks與Hologres的關(guān)系
簡(jiǎn)單模式工作空間僅一個(gè)生產(chǎn)環(huán)境，并且僅對(duì)應(yīng)Hologres一個(gè)數(shù)據(jù)庫(kù)，本文以標(biāo)準(zhǔn)模式工作空間進(jìn)行說明。
DataWorks為Hologres提供離線任務(wù)調(diào)度、元數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)安全管控等能力，但任務(wù)計(jì)算、數(shù)據(jù)存儲(chǔ)仍在Hologres中。標(biāo)準(zhǔn)模式工作空間下，DataWorks為不同環(huán)境綁定不同的Hologres實(shí)例，實(shí)現(xiàn)DataWorks開發(fā)環(huán)境與生產(chǎn)環(huán)境存儲(chǔ)、資源等隔離。
在DataWorks工作空間創(chuàng)建Hologres數(shù)據(jù)源并綁定至數(shù)據(jù)開發(fā)（DataStudio），以及查看各環(huán)境使用的Hologres實(shí)例，詳情請(qǐng)參見創(chuàng)建Hologres數(shù)據(jù)源。
DataWorks調(diào)度任務(wù)下發(fā)邏輯，詳情請(qǐng)參見DataWorks調(diào)度任務(wù)下發(fā)邏輯。
