數據管理DMS是一款支撐數據全生命周期的一站式數據管理平臺,本文介紹數據管理DMS以及內置數據災備(DBS)的產品優勢。
實現全域數據資產管理
支持全域數據資產:
關系型數據庫:MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版(兼容Oracle)、PolarDB分布式版、OceanBase、Oracle、達夢DamengDB等。
NoSQL:Redis、MongoDB、Memcache、Cassandra、GDB等。
OLAP:AnalyticDB for MySQL、AnalyticDB for PostgreSQL。
文件及日志:OSS、SLS。
更多信息,請參見支持的數據庫類型與功能。
支持多種來源的數據庫:提供免費、穩定、高效的數據庫網關DG用于打通網絡接入,通過數據庫網關您可以安全且低成本地將其他云廠商數據庫或本地數據庫接入DMS。更多信息,請參見什么是數據庫網關。
提供數據庫平滑遷移工具:DMS提供了DTS數據遷移工具,覆蓋數據庫遷移的全生命周期。更多信息,請參見DTS。
數據庫管理:可進行數據庫實例信息的查看、錄入、編輯,對實例、庫、表、數據列、行級進行授權、回收權限、禁用、啟用、刪除等管理操作。元數據訪問控制功能可支持實例、數據庫僅被有權限用戶使用。更多信息,請參見DMS支持的數據庫。
數據分類管理:對實例、庫、表進行業務分類歸屬管理,便于管理人員、開發人員及運維人員能更好地管理或使用數據。更多信息,請參見資產類目。
快速查找數據:支持實例、數據庫、表、功能、工單的全局搜索,基于圖譜能力,可快速檢索可用數據。
可靠的數據安全治理
安全可信:內置阿里巴巴最新研發規范,規避無主鍵等不合理設計帶來潛在風險。目前支持200多種設計及審核規范,可按需調整。
全方位細粒度安全管理:支持實例、庫、表、數據列、數據行級權限管理,可按需分配查詢、導出、變更、登錄等不同操作權限。更多信息,請參見訪問控制權限概述。
域賬號自動管理:提供域賬號及權限的全自動化管理能力,有效避免企業員工流轉時,賬號清理不及時導致的潛在數據泄露風險。
合規審計:支持企業上市合規審計、常規內審等功能,全方位支持員工權限和數據庫變更、訪問的流水審計。更多信息,請參見操作審計。
多法律法規覆蓋:全面覆蓋中華人民共和國網絡安全法、歐盟通用數據保護條例GDPR、SOX法案、PCI DSS、HIPAA等法律法規,實現敏感數據的自動分類分級,有效識別異常訪問風險。更多信息,請參見敏感數據保護概覽。
提供安全訪問代理:安全訪問代理復用了DMS內已有的安全規則、數據權限、敏感列配置等,可以實現在DMS平臺外安全地訪問數據庫。更多信息,請參見開啟安全訪問代理。
有效保障數據庫穩定性
穩定可控:通過無鎖變更、變更前備份及變更異常自動回滾等策略保障變更過程中,數據庫穩定可控。更多信息,請參見無鎖結構變更概覽、數據追蹤。
數據質量監測:覆蓋數據生產、集成、加工到消費的數據質量規則,進行數據質量監測與校驗。更多信息,請參見監測數據質量。
SQL審核優化:結合安全規則的SQL審核優化建議,對上傳的SQL語句進行審核并提供優化建議,避免無索引或不規范的SQL語句,降低SQL注入風險。更多信息,請參見SQL審核。
整體性能的診斷報告:整合數據庫自治服務DAS的部分功能,掌握數據庫實例的性能狀況,有效保障數據庫服務的穩定、安全及高效。更多信息,請參見數據庫性能。
變更異常回滾:快速找到異常時間段內的相關變更,生成逆向的回滾語句,修復數據。更多信息,請參見數據追蹤。
高效研發數據庫
低代碼數據加工
批量數據加工,更多信息,請參見離線集成概述。
多場景支持:支持離線數倉搭建、數倉提速、離線數據分析、數據中臺搭建、大規模數據集成、離線計算、異構數據集成等。
低門檻:近乎零代碼,簡單配置連線后即可滿足各項離線數據集成任務,同時任務支持復雜調度。
基于資產的虛擬湖:配合數據資產,可創建企業的數據資產虛擬湖,隨取隨用,降低企業建湖、運維成本。
流式數據加工,更多信息,請參見流式ETL。
多場景支持:支持實時數倉、多表實時拼接查詢、實時數據處理與上傳、實時報表、業務與計算分離、實時業務問題定位等。
高效低延時:通過DTS獲取和寫入數據,支持分布式并發讀寫,效率高于Flink,數據準確性更高。
可視化數據開發,更多信息,請參見概述。
混合編排模式:任務流支持多種引擎混合編排,支撐復雜業務流程。
復雜任務管理與調度:結合DMS賬號與數據權限管理機制,能夠進行復雜任務的管理與調度,提升開發過程的安全性。
運維機制完善:通過任務運行日志、數據血緣及監控機制,提供完善運維能力。
實時數據傳輸
多種數據傳輸方式:基于DTS的實時數據傳輸,提供數據遷移、數據同步、數據訂閱功能,滿足不同的傳輸需求。
高性能:支持分布式集成架構,突破單機瓶頸。同時提供限流手段,按需限流保護數據源。
運維簡單:通過性能監控、端到端一鍵診斷功能及報警監控等策略,實現極低運維門檻。
靈活調度:按需配置調度,調度周期低至5分鐘。
數據災備(DBS)
低成本
數據災備(DBS)使用飛天分布式存儲作為內置存儲,備份數據會轉換成專用格式,并經過壓縮保存到內置存儲,降低存儲成本。
支持按量付費,避免一次性投入大量資產。
同時數據災備(DBS)支持存儲分級,自動將備份數據存放到不同性價比存儲介質中,適用于長期歸檔,降低成本。
高性能
實時備份:日志內存實時捕獲,恢復點目標RPO(Recovery Point Object)達到秒級。
數據災備(DBS)通過使用阿里實時數據流技術,讀取數據庫日志并進行實時解析,然后備份至云端存儲,實現對數據庫的增量備份。通常,數據災備(DBS)可以將增量備份的延遲控制在秒級別以內,根據實際網絡環境不同,延遲時長也會有所不同。
并行備份:全程無鎖備份、多線程并行備份、數據拉取自適應分片。
任意時間點恢復:提供可恢復日歷及時間軸選擇。
在進行數據恢復時,通過全量備份與增量備份實現精確到秒級的數據庫恢復,最大限度保障數據安全,更多信息,請參見庫表級恢復。
多規格:彈性擴展,無縫支撐企業不同階段性能要求,更多信息,請參見規格選型。
安全可靠
靈活易用
細粒度備份:整個實例、多庫、單庫、多表和單表,由您自由選擇備份粒度。
單表恢復:細粒度恢復,恢復對象精準匹配,降低恢復時間目標RTO(Recovery Time Object)。
生命周期管理:自定義規則控制備份數據的生命周期,實現自動轉存、清理和復制分發。
對比自建備份系統
對比項
數據災備(DBS)
自建備份系統
成本
按需付費,100%資源利用率,無需一次性投入大量資產。
冷熱數據分級存儲,適用于長期歸檔。
壓縮、緊湊備份格式,降低存儲成本。
無需運維人員與托管費用,零成本運維。
一次性投入大量資產。
存儲受硬盤容量限制,需人工擴容。
單線或雙線接入速度慢,有帶寬限制,峰值時期需人工擴容。
多級存儲介質引入,運維成本驟增。
安全
使用SSL和AES256加密技術,保護備份數據傳輸和存儲安全。
多用戶資源隔離機制,支持異地災備機制。
提供多種鑒權和授權機制及白名單、防盜鏈、主子賬號功能。
備份有效性隨時驗證,任務狀況主動通知。
提供用戶自定義的鑒權機制。
需要另外購買清洗和黑洞設備。
需要單獨實現安全機制。
易用性
僅需5分鐘,實現購買、配置到啟動備份任務。
細粒度備份,支持備份整個實例、單庫、多表和單表。
完整生命周期管理,全局規則控制,自動轉存、清理和復制分發。
備份恢復統一Web管理界面。
備份腳本和工具,學習成本高。
靈活性不足,一般只能提供基礎能力。
性能
秒級RPO,日志內存實時捕獲,任意時間點恢復。
恢復對象精準匹配,單表恢復,RTO大幅降低。
流式備份,數據不落盤,備份窗口全程無鎖,自適應并發調速。
多線BGP運營商骨干網絡,無帶寬限制,支持海量用戶并發備份恢復。
受限于多個工具短板,容易產生瓶頸點。
可靠性
基于阿里飛天盤古提供分布式高可靠存儲。
數據多重冗余存儲,數據設計持久性不低于99.999999999%。
備份過程中,實時校驗數據完整性。
海量用戶驗證,風險快速發現并修復。
多個工具拼湊,問題指數級增長。
受限于硬件可靠性,易出問題,一旦出現磁盤壞道,容易出現不可逆轉的數據丟失。
擴展性
除了支持備份阿里云數據庫,數據災備(DBS)還支持備份ECS自建數據庫、本地機房數據庫、AWS或騰訊云等其他云廠商數據庫。
除了支持恢復到原始數據庫,數據災備(DBS)還支持恢復到其他環境,如本地數據庫通過數據災備(DBS)備份,恢復到阿里云數據庫上。
僅支持特定環境,一般不具備擴展性。