創(chuàng)建并管理MaxCompute節(jié)點
DataWorks為您提供多種MaxCompute節(jié)點，便于您根據(jù)需要開發(fā)不同類型的MaxCompute任務(wù)，并為您提供豐富的節(jié)點調(diào)度配置，幫助您靈活設(shè)置MaxCompute任務(wù)的調(diào)度，本文為您介紹創(chuàng)建并管理MaxCompute節(jié)點的通用操作指導(dǎo)。
前提條件
已創(chuàng)建業(yè)務(wù)流程。
數(shù)據(jù)開發(fā)（DataStudio）基于業(yè)務(wù)流程對不同開發(fā)引擎進行具體開發(fā)操作，所以您創(chuàng)建節(jié)點前需要先新建業(yè)務(wù)流程，操作詳情請參見創(chuàng)建業(yè)務(wù)流程。
已創(chuàng)建MaxCompute數(shù)據(jù)源并綁定至數(shù)據(jù)開發(fā)（DataStudio）。
創(chuàng)建MaxCompute相關(guān)節(jié)點并開發(fā)MaxCompute任務(wù)前，您需先將MaxCompute項目創(chuàng)建為DataWorks工作空間的MaxCompute數(shù)據(jù)源，并綁定至數(shù)據(jù)開發(fā)（DataStudio），作為開發(fā)MaxCompute任務(wù)的底層引擎。操作詳情請參見創(chuàng)建MaxCompute數(shù)據(jù)源、開發(fā)前準備：綁定數(shù)據(jù)源或集群。
進行MaxCompute對應(yīng)任務(wù)開發(fā)的賬號已被添加至對應(yīng)工作空間中，并具有開發(fā)或空間管理員（權(quán)限較大，謹慎添加）角色權(quán)限，添加成員的操作詳情請參見為工作空間添加空間成員。
創(chuàng)建MaxCompute節(jié)點
進入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對應(yīng)工作空間后單擊進入數(shù)據(jù)開發(fā)。
以O(shè)DPS SQL節(jié)點為例，為您介紹創(chuàng)建節(jié)點的操作。
右鍵某個業(yè)務(wù)流程，選擇。
說明您也可以單擊頂部新建按鈕，根據(jù)界面提示選擇創(chuàng)建MaxCompute節(jié)點。
在彈框中配置節(jié)點的名稱，完成后單擊確認，完成MaxCompute節(jié)點創(chuàng)建操作，后續(xù)您即可在節(jié)點中進行對應(yīng)MaxCompute任務(wù)開發(fā)與配置。
開發(fā)MaxCompute任務(wù)
當(dāng)前DataWorks支持多種MaxCompute節(jié)點類型，便于您開發(fā)不同類型的MaxCompute任務(wù)。
節(jié)點類型 | 適用的場景 | 任務(wù)開發(fā)指導(dǎo) |
ODPS SQL | 開發(fā)MaxCompute的SQL任務(wù)。 | |
SQL組件節(jié)點 | 開發(fā)MaxCompute的SQL任務(wù)。 在實際業(yè)務(wù)實踐中，存在大量類似的SQL代碼過程，過程中輸入表和輸出表的結(jié)構(gòu)一致或結(jié)構(gòu)類型兼容，僅名稱不同。此時，組件的開發(fā)者可將該SQL過程抽象為一個SQL組件節(jié)點，將可變的輸入表抽象為輸入?yún)?shù)，可變的輸出表抽象為輸出參數(shù)，實現(xiàn)SQL代碼的復(fù)用。 | |
PyODPS 3 | 開發(fā)MaxCompute的PyODPS任務(wù)，PyODPS 3節(jié)點底層Python語言版本為Python 3。 | |
PyODPS 2 | 開發(fā)MaxCompute的PyODPS任務(wù)，PyODPS 2節(jié)點底層Python語言版本為Python 2。 | |
ODPS Spark | 開發(fā)MaxCompute的Spark任務(wù)。 | |
ODPS Script | 開發(fā)MaxCompute的SQL腳本類的任務(wù)。 | |
ODPS MR | 開發(fā)MaxCompute的MapReduce任務(wù)。 |
開發(fā)MaxCompute任務(wù)：能力增強
除上述通用的MaxCompute任務(wù)開發(fā)能力外，DataWorks還為您提供表、資源、函數(shù)的能力支持，便于您高效開展MaxCompute任務(wù)開發(fā)工作。
MaxCompute表能力：支持在DataWorks上通過界面化的操作，快捷創(chuàng)建表、查看表信息、管理表等，詳情請參見創(chuàng)建并使用MaxCompute表、表管理。
MaxCompute函數(shù)與資源能力：
在DataWorks上開發(fā)MaxCompute任務(wù)時，支持直接使用MaxCompute的內(nèi)置函數(shù)，當(dāng)前MaxCompute內(nèi)置函數(shù)列表請參見使用內(nèi)建函數(shù)。
支持將您的自定義函數(shù)通過DataWorks創(chuàng)建為MaxCompute資源并注冊為MaxCompute函數(shù)，供后續(xù)開發(fā)MaxCompute任務(wù)時直接調(diào)用，自定義函數(shù)的使用請參見創(chuàng)建并使用MaxCompute資源、創(chuàng)建并使用自定義函數(shù)。
支持將本地開發(fā)的資源包通過本地上傳的方式上傳至DataWorks，或直接在DataWorks新建資源。
DataWorks支持將文本文件、Python代碼以及.zip、.tgz、.tar.gz、.tar、.jar等壓縮包，作為不同類型的資源上傳至MaxCompute，在用戶自定義函數(shù)UDF及MapReduce的運行過程中讀取、使用。資源的上傳與使用詳情請參見創(chuàng)建并使用MaxCompute資源。
任務(wù)開發(fā)后處理
當(dāng)您完成當(dāng)前節(jié)點的任務(wù)開發(fā)后，通常您可進行以下操作。
調(diào)度配置：配置節(jié)點的周期性調(diào)度屬性。任務(wù)需要周期性調(diào)度運行時，您需要設(shè)置節(jié)點后續(xù)實際運行過程中的重跑屬性、調(diào)度依賴關(guān)系等，操作詳情請參見任務(wù)調(diào)度屬性配置概述。
任務(wù)調(diào)試：對當(dāng)前節(jié)點的代碼進行測試運行，確認代碼邏輯符合預(yù)期，操作詳情請參見任務(wù)調(diào)試流程。
任務(wù)發(fā)布：完成所有開發(fā)相關(guān)操作后，您需要將所有任務(wù)節(jié)點進行發(fā)布，發(fā)布后節(jié)點即會根據(jù)調(diào)度配置結(jié)果進行周期性運行，操作詳情請參見發(fā)布任務(wù)。
節(jié)點管理
創(chuàng)建完成節(jié)點后，您可以對節(jié)點進行編輯、刪除等操作，也可將多個節(jié)點組成節(jié)點組給其他業(yè)務(wù)流程直接引用。節(jié)點的其他管理操作請參見使用節(jié)點組。