日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

數據開發概述

DataWorks數據開發(DataStudio)模塊用于定義周期調度任務的開發及調度屬性,與運維中心配合使用,面向各引擎(MaxCompute、Hologres、EMR等)提供可視化開發主界面,支持智能代碼開發、多引擎混編工作流、規范化任務發布等能力,幫助您輕松構建離線數倉、實時數倉與即席分析系統,保證數據生產的高效穩定。

進入數據開發

登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的數據開發與治理 > 數據開發,在下拉框中選擇對應工作空間后單擊進入數據開發

數據開發主要功能

數據開發(DataStudio)的主要功能介紹如下。您可參考數據開發相關概念輔助理解。數據開發功能

類型

描述

對象組織及管理

DataWorks數據開發提供的對象組織與管理機制如下:

  • 對象組織:提供解決方案 > 業務流程兩級管理模式。DataWorks基于業務流程提供目錄樹與可視化面板兩種對象組織方式。您可通過目錄樹創建所需對象,或使用業務流程可視化面板拖拽組件,快速構建數據加工流,并支持通過解決方案對業務流程進行進一步的管理。

  • 對象管理:支持使用可視化方式創建及管理節點、表、資源及函數。

更多詳情請參見創建業務流程任務組織與管理方式

說明

在數據開發(DataStudio)中,每個工作空間支持創建的業務流程及對象數量限制如下:

  • 業務流程:最多支持創建1W個。

  • 對象(節點、文件、表、資源及函數):保有DataWorks企業版的用戶,支持創建的對象數量上限為20W;保有DataWorks專業版、標準版及基礎版的用戶,支持創建的對象數量上限為10W

若當前工作空間的業務流程及對象數量達到上限,您將無法再執行新建操作。

任務開發

  • 能力更豐富:

    • 提供豐富的引擎節點,對引擎能力進行全面封裝。

    • 提供通用類節點,可結合引擎節點進行復雜邏輯處理。例如,外部系統觸發調度,文件對象檢查、條件分支、循環執行代碼、輸出結果傳遞等復雜流程控制。

  • 操作更簡單:

    • 提供業務流程可視化開發機制,可通過拖拽組件方式快速實現多引擎任務的混合編排。

    • 提供智能化的SQL編輯器。使用SQL編輯器時,提供智能提示、SQL算子結構可視化展示、權限校驗等功能。

DataWorks支持的節點類型,詳情請參見DataWorks節點合集

任務調度

  • 觸發方式:支持外部系統觸發、事件觸發、以及通過內部血緣解析上游觸發任務調度運行。

  • 依賴類型:支持設置同周期與跨周期依賴,以及多種調度周期、不同類型任務的相互依賴。

  • 執行控制:支持設置任務是否重跑;支持通過上游任務控制下游整體調度時間;支持設置調度任務的生效日期;支持定義任務的調度類型。例如,空跑(即不執行且不阻塞下游任務調度);凍結(不執行并阻塞下游任務調度)。

  • 冪等保障:提供任務重跑機制,支持自定義重跑條件與重跑次數。

更多調度相關說明,詳情請參見時間屬性配置說明調度依賴配置指引

任務調試

提供單任務調試機制與基于業務流程的工作流調試機制。詳情請參見任務調試流程

流程管控

提供規范化任務發布機制,及多種方式的流程管控機制。包括但不限于以下場景:

  • 提供任務發布前人工評審代碼(代碼評審),與冒煙測試,并支持阻塞發布存在問題的生產調度流程。

  • 支持結合數據治理的治理項檢查、擴展程序自定義校驗邏輯等方式,對任務提交及發布生產調度的操作進行自定義且自動化的流程管控。

其他

  • 開放能力:結合開放平臺提供豐富的OpenAPI,并內置大量擴展點,可通過DataWorks開放平臺實現DataWorks數據開發相關事件消息的訂閱。

  • 權限控制:支持界面功能權限及數據訪問權限控制。詳情請參見空間級模塊權限管控

  • 查看操作記錄:DataWorks集成阿里云操作審計(ActionTrail)產品,您可在ActionTrail中查看及檢索阿里云賬號最近在DataWorks上的操作行為事件日志。詳情請參見查看數據開發操作記錄

數據開發界面認識

您可通過數據開發功能索引了解數據開發操作界面,以及各模塊功能如何使用。

任務開發流程

DataWorks數據開發支持創建多種類型引擎的實時同步任務、離線調度任務(包括離線同步任務、離線加工任務)、手動觸發任務。其中,數據同步相關能力您可前往數據集成模塊了解;實際開發調度任務時,不同引擎任務的配置要求存在差異,您需先了解不同引擎基于DataWorks開發的注意事項及相關說明,再根據待開發的任務類型開始數據開發工作。

  • 各引擎開發說明:DataWorks支持創建各種數據源并進行引擎開發任務,不同引擎任務所需的配置存在差異,其中主要引擎任務的開發說明請參見:

  • 通用開發流程:DataWorks的工作空間分為標準模式和簡單模式,不同模式工作空間下調度任務的開發流程存在一定差異,具體如下。

    標準模式工作空間開發流程。標準模式工作空間開發流程

    簡單模式工作空間開發流程。簡單模式工作空間開發流程

    • 基本流程:以標準模式為例,調度任務的開發流程包括開發、調試、調度配置、提交、發布、運維等階段。其中,任務開發的通用開發流程,請參見通用開發流程

    • 流程管控:任務在開發過程可結合數據開發(DataStudio)自帶的代碼評審冒煙測試等功能,以及數據治理中心預設的檢查項、開放平臺基于擴展程序實現自定義邏輯校驗等功能,保障開發任務符合規范。

      說明

      不同工作空間模式涉及的流程管控操作存在差異,具體請以實際管控功能為準。

任務組織與管理方式

DataWorks數據開發的業務流程是具體代碼開發、資源組織的單位,是業務的抽象實體,幫助您使用業務視角來組織數據代碼開發。工作空間之間的業務流程、任務節點為獨立開發,互不影響。更多關于業務流程的使用,詳情請參見創建業務流程

業務流程的呈現包括目錄樹及操作面板兩種方式,幫助您基于業務視角組織代碼,使得資源類別更明確,業務邏輯更清晰。

  • 目錄樹結構:提供基于任務類型的代碼組織方式。

  • 業務流程面板:提供流程化的業務邏輯展現方式。

開發組織結構

附錄:數據開發支持的節點合集

DataWorks的數據開發(DataStudio)模塊提供了多種類型節點,同時,多種類型節點支持周期性任務調度,您可基于業務需要選擇合適的節點進行相關開發操作。DataWorks支持的節點合集,詳情請參見DataWorks節點合集

附錄:數據開發相關概念

  • 任務開發相關。

    概念

    描述

    解決方案

    業務流程的集合。您可將一類業務流程劃分為一個解決方案進行統籌管理。一個業務流程可被多個解決方案復用。進行數據開發時,其他用戶可在其它解決方案中,直接編輯您解決方案中引用的業務流程,進行協同開發。

    業務流程

    面向某一特定業務需求的任務、表、資源、函數的集合,業務的抽象實體。該類業務流程中的任務可按計劃定時觸發運行。

    手動業務流程

    面向某一特定業務需求的任務、表、資源、函數的集合。

    手動業務流程與業務流程的區別為:手動業務流程中的任務需手動觸發運行,而業務流程中的任務是按計劃來定時觸發運行。

    DAG

    英文Directed Acyclic Graph的縮寫,即有向無環圖。用于展示節點及其依賴關系。在數據開發(DataStudio)中,業務流程下的所有任務會展示在同一個DAG中,方便您進行任務開發及依賴關系配置。

    任務

    任務是DataWorks的基本執行單元。DataWorks根據任務間的依賴關系依次執行各個任務。

    節點

    節點用于指代DAG中的一個任務。DataWorks根據節點間的依賴關系依次運行各個節點。

  • 任務調度相關。

    概念

    描述

    依賴關系

    任務間通過依賴關系定義任務的運行順序。如果節點A運行后,節點B才能運行,我們稱A是B的上游依賴,或者B依賴A。在DAG中,依賴關系用節點間的箭頭表示。

    輸出名

    用于區分本節點與其他節點的標識符。輸出名全局唯一,一個節點可包含多個輸出名。DataWorks通過輸出名設置節點調度依賴關系。

    輸出表名

    輸出表名建議配置為當前任務的產出表,正確填寫輸出表名可以方便下游設置依賴時確認數據是否來自期望的上游表。自動解析生成輸出表名時不建議手動修改,輸出表名僅作為標識,修改輸出表名不會影響SQL腳本實際產出的表名,實際產出表名以SQL邏輯為準。

    說明

    節點的輸出名需要全局唯一,而輸出表名無此限制。

    調度資源組

    指用于任務調度的資源組。資源組介紹詳情請參見DataWorks資源組概述

    調度參數

    調度參數是代碼中用于調度運行時動態取值的變量。代碼在重復運行時若希望獲取到運行環境的一些信息,例如日期、時間等,可根據DataWorks調度系統的調度參數定義,動態為代碼中的變量賦值。

    業務日期

    指昨天,在離線計算場景下,交易日期為業務發生的日期。DataWorks默認取調度時間內,任務預期調度運行時間的前一天(即昨天)的日期為業務日期,精確到天。例如,今天統計前一天的營業額,此處的前一天,指交易發生的日期,也就是業務日期。

    定時時間

    指今天,即某業務數據加工任務的預期執行時間。DataWorks默認取調度時間內,任務預期調度運行的時間點(即今天)為定時時間,精確到秒。任務預期執行時間,與實際開始執行時間并非完全一致。任務實際開始執行時間受多方因素影響。