DMS推出數倉開發功能,旨在為用戶提供數據集成、加工、可視化和價值挖掘的一站式開發平臺。本文介紹數倉開發的主要特性以及操作步驟等內容。

背景信息

在企業里,很多有價值的數據(如:交易數據、客戶信息等)都存儲在數據庫中,DMS數倉開發可以便捷地對這些數據進行分析加工,最終轉換為商業智能。DMS數倉開發依托數據庫為主要計算引擎,融合了數據庫生態里的多種工具和服務(如:DTS、DLA),讓用戶可以輕松擁有數據倉庫并進行開發和管理。

主要特性

特性 說明
數倉引擎自由選擇 用戶可根據企業規模、數據量大小和實時性要求,自由選擇數據庫引擎產品(如:ADB、DLA、PolarDB、RDS等)進行數倉開發,DMS數倉開發平等對待所有的數據庫引擎產品。
兩種開發模式 DMS數倉開發提供了兩種開發模式(任務編排、數據倉庫)以滿足不同專業程度的用戶對數倉開發的需求。在任務編排模式下,用戶無需數據倉庫的專業知識,只需要關注業務邏輯,通過創建任務流和編寫任務節點SQL就能完成開發任務。數據倉庫模式則主要滿足專業數倉開發者的需求,提供了主題管理、層級管理、生產發布、多人協作、數據地圖、數據質量控制等各種功能(注:有些功能待發布),為企業提供專業的數倉開發解決方案。
支持離線數倉和實時數倉 通過離線數據同步和周期任務調度,用戶在DMS上可輕松實現傳統的離線數倉開發。同時,DMS打通了阿里云的DTS和ADB產品,用戶通過DTS實時同步任務和ADB引擎的組合可輕松搭建實時數倉系統,并在DMS上進行數據開發和實時消費。
離線、在線一體全域數據管理 依托DMS的統一數據庫管理和權限管控能力,DMS可對用戶的在線庫(如:OLTP)和離線庫(如:OLAP)進行綜合管理,避免了離線與在線系統割裂造成的數據安全問題。同時,DMS也能夠全生命周期地追蹤數據血緣并進行影響分析。

數倉構建和使用流程圖

數倉構建

操作步驟

  1. 數倉引擎選擇
    根據業務需求購買或選擇一款合適的數據庫內核產品(如:PolarDB、RDS或ADB等)作為數據倉庫。
  2. 數據集成
    將待分析的數據從外部數據源(如:交易庫)同步至數據倉庫中。
  3. 數據開發
    將待分析的數據從外部數據源(如:交易庫)同步至數據倉庫中。
  4. 數據應用
    對加工完的數據提供消費渠道,如:生成數據API和可視化圖表。
  5. 數據治理
    對數倉開發整個過程中的數據進行治理,如:監控數據質量,做數據血緣追蹤和影響分析。