DataWorks基于MaxCompute等引擎,提供統一的全鏈路大數據開發治理平臺。本文為您介紹如何通過DataWorks使用MaxCompute服務。
背景信息
DataWorks支持將計算引擎綁定至DataWorks的工作空間,綁定計算引擎后,您即可在DataWorks上創建對應引擎的計算任務,并進行周期調度。使用DataWorks連接MaxCompute有如下方式:
數據分析的SQL查詢功能:
實現編輯MaxCompute SQL、查詢數據、分析數據(電子表格)、在線分享數據及下載數據等功能。SQL查詢功能詳情請參見SQL查詢。
數據開發的MaxCompute任務節點:
DataWorks將不同類型引擎任務封裝為不同節點,通過節點來定義數據開發任務。同時,支持使用資源、函數、以及相關邏輯處理節點開發更多復雜的任務。MaxCompute任務節點包括:ODPS SQL節點、ODPS Spark節點、PyODPS 2節點、PyODPS 3節點、ODPS Script節點、ODPS MR節點。
使用場景
數據分析使用場景
數據分析的SQL查詢功能使用場景如下:
您可以通過數據分析的SQL查詢功能查詢數據,并通過分析模式的Web Excel對查詢結果進行分析。您也可以下載查詢結果至本地,減少數據的流動,更好地保障數據安全。
MaxCompute任務節點使用場景
如果您希望周期性運行MaxCompute作業,可使用DataWorks的DataStudio開發周期性MaxCompute作業,并配置周期性調度的時間屬性、調度依賴等配置項,將作業整體提交至DataWorks的運維中心進行周期性調度。
使用說明
創建DataWorks工作空間。
詳情請參見創建并管理工作空間。
為DataWorks綁定MaxCompute引擎。
詳情請參見綁定MaxCompute引擎。
說明簡單模式工作空間支持為DataWorks工作空間綁定已有MaxCompute項目;標準模式工作空間不支持綁定已有MaxCompute項目。
(可選)為DataWorks添加MaxCompute數據源。
DataWorks的數據源分為引擎綁定時默認創建的引擎數據源和在數據源配置界面創建的自建數據源,若要操作非引擎數據源,請確保已創建數據源,詳情請參見創建與管理數據源。
通過DataWorks使用MaxCompute。