MaxCompute是適用于數據分析場景的企業級SaaS(Software as a Service)模式云數據倉庫,以Serverless架構提供快速、全托管的在線數據倉庫服務,消除了傳統數據平臺在資源擴展性和彈性方面的限制,最小化用戶運維投入,使您可以經濟并高效地分析處理海量數據。
隨著數據收集手段不斷豐富,行業數據大量積累,數據規模已增長到了傳統軟件行業無法承載的海量數據(TB、PB、EB)級別。MaxCompute提供離線和實時的數據接入,支持大規模數據計算及查詢加速能力,為您提供面向多種計算場景的數據倉庫解決方案及分析建模服務。MaxCompute還為您提供完善的數據導入方案以及多種經典的分布式計算模型,您可以不必關心分布式計算和維護細節,便可輕松完成大數據分析。
MaxCompute適用于100 GB以上規模的存儲及計算需求,最大可達EB級別,并且MaxCompute已經在阿里巴巴集團內部得到大規模應用。MaxCompute適用于大型互聯網企業的數據倉庫和BI分析、網站的日志分析、電子商務網站的交易分析、用戶特征和興趣挖掘等。詳細發展歷程、產品榮譽及客戶案例請參見發展歷程和客戶案例。
MaxCompute還深度融合了阿里云如下產品:
基于DataWorks實現一站式的數據同步、業務流程設計、數據開發、管理和運維功能。
基于機器學習平臺的算法組件實現對MaxCompute數據進行模型訓練等操作。
基于Hologres對MaxCompute數據進行外表查詢加速,也可導出到Hologres進行交互式分析。
基于Quick BI對MaxCompute數據進行報表制作,實現數據可視化分析。
MaxCompute融合的更多阿里云產品信息,請參見支持的云服務。
視頻簡介
核心功能
MaxCompute提供的核心功能如下。詳細功能清單,請參見功能特性。
功能分類 | 功能描述 |
全托管的Serverless在線服務 |
|
彈性能力與擴展性 |
|
統一豐富的計算和存儲能力 |
|
數據建模、開發、治理能力 | 借助一站式數據開發與治理平臺DataWorks,可實現全域數據匯聚、融合加工和治理。DataWorks支持對MaxCompute項目進行管理以及Web端查詢編輯。 |
集成AI能力 |
|
深度集成Spark引擎 |
|
湖倉一體 |
詳細信息,請參見MaxCompute湖倉一體概述。 |
離線實時一體 |
|
支持流式寫入和近實時分析 |
|
提供持續的SaaS化云上數據保護 | 為云上企業提供基礎設施、數據中心、網絡、供電、平臺安全能力、用戶權限管理、隱私保護等保三級超20項安全功能,兼具開源大數據與托管數據庫的安全能力。 |
產品架構
MaxCompute的產品架構如下。
其中核心模塊介紹如下。
模塊名稱 | 功能說明 |
存儲引擎 | MaxCompute為您提供MaxCompute存儲引擎(內部存儲)用于存儲MaxCompute表、資源等,同時您也可以通過外表的方式直接讀取存儲在OSS、TableStore、RDS等其他產品中的數據。 其中MaxCompute存儲引擎主要采用列壓縮存儲格式,通常情況下可達到5倍壓縮比。 |
計算引擎 | MaxCompute為您提供MaxCompute SQL計算引擎和CUPID計算平臺。 |
云服務層 | MaxCompute支持創建不同的任務隊列,并為每個隊列配置不同的資源和優先級,以便對任務執行進行更精細的控制,同時具備強大的調度系統,可以管理并優化計算資源的分配和使用,以提高系統的整體效率。MaxCompute也提供數據安全性的多層保護,包括項目空間隔離、權限控制、數據加密,確保數據的安全和隱私。 |
統一元數據及安全體系 | MaxCompute的離線租戶級別元數據信息會通過Information Schema提供服務,同時Information Schema也提供MaxCompute的使用歷史日志數據查詢等服務,您可以對作業的運行情況,例如資源消耗、運行時長、數據處理量等指標進行分析,用于優化作業或規劃資源容量。 MaxCompute還提供了完善的安全管理體系,例如訪問控制、數據加密、動態脫敏等為數據安全性提供保障。更多安全相關信息,請參見安全管理。 |
用戶接口與開放性 | MaxCompute提供如下用戶接口:
|
數據生態支持 | MaxCompute與阿里云DataWorks深度結合,可通過DataWorks實現一站式數據開發分析治理,同時也支持其他多種數據開發分析場景:
|
TopConsole(管理控制臺) | 提供MaxCompoute項目管理、Quota管理、租戶管理等基礎配置管理能力,以及作業運維、資源觀測基本運維能力,還有物化視圖、成本分析優化等增強運維能力,詳情請參見資源和作業管理。 |
產品優勢
MaxCompute的主要優勢如下:
簡單易用
面向數據倉庫實現高性能存儲、計算。
預集成多種服務,標準SQL開發簡單。
內建完善的管理和安全能力。
免運維,按量付費,不使用不產生計算費用。
匹配業務發展的彈性擴展能力
存儲和計算獨立擴展,動態擴縮容,按需彈性擴展,無需提前規劃容量,滿足突發業務增長。
支持多種分析場景
支持開放數據生態,以統一平臺滿足數據倉庫、BI、近實時分析、數據湖分析、機器學習等多種場景。
開放的平臺
支持開放接口和生態,為數據、應用遷移、二次開發提供靈活性。
支持與Airflow、Tableau等開源和商業產品靈活組合,構建豐富的數據應用。
聯系我們
如果您在使用MaxCompute的過程中有任何疑問或建議,歡迎填寫釘釘群申請表單加入釘釘群進行反饋。