模塊

說明

產(chǎn)品簡介

介紹MaxCompute產(chǎn)品的概況、主要功能、應(yīng)用場景、使用限制及基本概念。通過閱讀該章節(jié)，您會對MaxCompute有一個總體的認知。

準備工作

通過示例指導(dǎo)您如何準備賬號、準備環(huán)境、創(chuàng)建表、導(dǎo)入數(shù)據(jù)、運行SQL及導(dǎo)出結(jié)果數(shù)據(jù)。

快速入門

常用命令列表

介紹MaxCompute的常用命令。您可以進一步熟悉如何操作MaxCompute。

工具

您需要在分析數(shù)據(jù)前掌握MaxCompute涉及的客戶端、MaxCompute Studio等工具。

Endpoint

介紹MaxCompute各地域支持的連接方式及Endpoint信息，并對您在與其他云產(chǎn)品（ECS、Tablestore或OSS）互訪場景中遇到的網(wǎng)絡(luò)連通性和下載數(shù)據(jù)收費等問題進行說明。

功能項

說明

DDL操作

支持管理表、分區(qū)、列、生命周期及視圖。

DML操作

支持插入或更新表、分區(qū)數(shù)據(jù)。

DQL操作

支持SELECT、子查詢等多種查詢操作。

增強操作

支持通過命令導(dǎo)入導(dǎo)出MaxCompute表中的數(shù)據(jù)、復(fù)制表數(shù)據(jù)等SQL增強操作。

內(nèi)建函數(shù)

支持通過內(nèi)建數(shù)學(xué)函數(shù)、窗口函數(shù)、日期函數(shù)、聚合函數(shù)、字符串函數(shù)等處理數(shù)據(jù)。

UDF

支持通過創(chuàng)建自定義函數(shù)來滿足更多的計算需求。

模塊

說明

MapReduce

MaxCompute提供Java MapReduce編程模型。您可以使用MapReduce提供的接口（Java API）編寫MapReduce程序，處理MaxCompute中的數(shù)據(jù)。

Graph

一套面向迭代的圖計算處理框架。使用圖進行建模，圖由點（Vertex）和邊（Edge）組成，點和邊包含權(quán)值（Value）。通過迭代對圖進行編輯、演化，最終得出結(jié)果。

Tunnel

您可以使用Tunnel服務(wù)向MaxCompute批量上傳離線數(shù)據(jù)或從MaxCompute下載離線數(shù)據(jù)。

Java SDK

向開發(fā)者提供的Java接口。

Python SDK

向開發(fā)者提供的Python接口。

模塊

子模塊

說明

項目管理

創(chuàng)建項目前期工作

項目（Project）是MaxCompute的基本組織單元，它類似于傳統(tǒng)數(shù)據(jù)庫的Database或Schema的概念，是進行多用戶隔離和訪問控制的主要邊界。一個用戶可以同時擁有多個項目的權(quán)限，通過安全授權(quán)，可以在一個項目中訪問另一個項目中的對象，例如表（Table）、資源（Resource）、函數(shù)（Function）和實例（Instance）。使用MaxCompute，實際是操作項目中的各種對象。前期準備工作如下：

• 資源預(yù)算

  MaxCompute收費資源主要包含存儲、計算和公網(wǎng)下載流量。

  • 存儲資源：按量階梯計費。您可以按照數(shù)據(jù)量套用公式預(yù)估費用。由于數(shù)據(jù)不是當天全部存儲在MaxCompute，且每時每刻都會存在數(shù)據(jù)導(dǎo)入導(dǎo)出，所以預(yù)算結(jié)果不是絕對值。

  • 計算資源：計算資源分為按量計費和包年包月模式。由于使用初期不容易評估計算資源使用量，建議您先使用按量計費模式，測試一段時間后根據(jù)使用量再決定是否使用包年包月模式。

  • 外網(wǎng)下載流量：按量計費，只有通過外網(wǎng)下載才會收費。

  詳細計費說明請參見計費項與計費方式概述。

• 準備賬號并開通服務(wù)

  創(chuàng)建MaxCompute項目前，必須先開通MaxCompute服務(wù)，且只能將阿里云賬號作為主賬號，同時該賬號為計費主體。確定賬號后，在開通MaxCompute服務(wù)時，您需要根據(jù)資源預(yù)算結(jié)論選擇按量計費或包年包月模式。

創(chuàng)建項目

創(chuàng)建項目具體操作，請參見創(chuàng)建MaxCompute項目。

創(chuàng)建項目時，需要從業(yè)務(wù)角度考慮選擇標準模式或簡單模式項目，從安全角度考慮使用個人賬號或計算引擎指定賬號，詳情請參見MaxCompute訪問身份和MaxCompute數(shù)據(jù)安全管理指南。

項目成員管理

成員管理主要考慮成員的職責(zé)和安全問題，如果通過DataWorks使用MaxCompute，您需要考慮兩個產(chǎn)品之間的關(guān)聯(lián)權(quán)限，詳情請參見MaxCompute和DataWorks的權(quán)限關(guān)系。

RAM用戶管理

MaxCompute項目支持阿里云賬號和RAM用戶兩種賬號體系。您可以將阿里云賬號下的任意RAM用戶加入MaxCompute的某一個項目中。RAM用戶詳情，請參見創(chuàng)建RAM用戶。

通過DataWorks使用MaxCompute和DataWorks的工作空間，僅支持添加阿里云賬號下的RAM用戶為成員。因此，需要阿里云賬號通過RAM系統(tǒng)創(chuàng)建RAM用戶，并對RAM用戶進行維護管理。

調(diào)度資源管理

• 調(diào)度資源

  即DataWorks上的調(diào)度資源，調(diào)度資源用于執(zhí)行或分發(fā)調(diào)度系統(tǒng)下發(fā)的任務(wù)。DataWorks的調(diào)度資源分為如下兩種模式，詳情請參見查看資源組列表。

  • 默認調(diào)度資源。指DataWorks的公共資源池。當DataWorks節(jié)點并發(fā)量很高，調(diào)度資源緊張時會進入等待調(diào)度狀態(tài)。直到占用到資源，節(jié)點才開始執(zhí)行下發(fā)任務(wù)。

  • 自定義調(diào)度資源。指將您自助購買的ECS配置為可以執(zhí)行分發(fā)任務(wù)的調(diào)度服務(wù)器。阿里云賬號可以新建自定義調(diào)度資源，調(diào)度資源包括若干臺物理機或ECS，主要用于執(zhí)行數(shù)據(jù)同步或其他任務(wù)。

• 獨享資源

  DataWorks提供獨享調(diào)度、獨享數(shù)據(jù)集成和DataStudio運行空間（生產(chǎn)環(huán)境）資源供您選擇，以獲取最優(yōu)性能保障。詳情請參見DataWorks資源組概述。

項目設(shè)置

在項目開發(fā)過程中，部分項目的設(shè)置操作需要項目Owner來執(zhí)行。例如，設(shè)置項目是否允許全表掃描、設(shè)置項目默認打開2.0新類型等。詳情請參見項目操作。

安全管理

人員管理

安全管理包括人員管理、角色管理、權(quán)限管理等。通過DataWorks使用MaxCompute時，由于DataWorks和MaxCompute有各種權(quán)限模型，因此您需要理清楚兩個產(chǎn)品之間的權(quán)限關(guān)系，再從業(yè)務(wù)需求出發(fā)進行權(quán)限管理。安全管理過程中，您需要了解如何進行用戶授權(quán)、跨項目的資源共享、設(shè)置項目的數(shù)據(jù)保護功能、Policy授權(quán)等操作：

• 權(quán)限管理和安全參數(shù)列表。

• 安全管理案例：提供從真實客戶業(yè)務(wù)需求轉(zhuǎn)化的安全案例。

角色管理

權(quán)限管理

費用管理

無

資源預(yù)算是在使用之前進行成本預(yù)估。基于MaxCompute的計費方式，很多業(yè)務(wù)無法更準確地預(yù)估成本，因此在整個業(yè)務(wù)開發(fā)過程中需要進行費用管理，主要需要關(guān)注：

• 產(chǎn)品的計費定價，詳情請參見計費方式。

• 產(chǎn)品欠費預(yù)警與停機策略，詳情請參見欠費預(yù)警與停機策略。

• 包年包月升級和降配操作，詳情請參見升級和降配。

• 包年包月續(xù)費，詳情請參見續(xù)費管理。

• 產(chǎn)品支持按量計費和包年包月轉(zhuǎn)換，詳情請參見計費方式轉(zhuǎn)換。

• 查看MaxCompute賬單信息，詳情請參見賬單查看和MaxCompute賬單用量明細分析。