新建MaxCompute MR類型的公共節(jié)點(diǎn)
當(dāng)算法腳本類型為Shell時(shí),可通過(guò)新建MaxCompute MR類型的公共節(jié)點(diǎn),使用上傳算法包的方式處理MaxCompute類型的數(shù)據(jù)源。也支持通過(guò)寫(xiě)SQL語(yǔ)句方式創(chuàng)建MaxCompute MR類型的公共節(jié)點(diǎn)。本文介紹如何新建MaxCompute MR類型的公共節(jié)點(diǎn)。
前提條件
已創(chuàng)建MaxCompute類型的云計(jì)算資源,具體操作,請(qǐng)參見(jiàn)新建MaxCompute云計(jì)算資源。
操作步驟
方式一:上傳算法包方式
在頁(yè)面左上角,單擊圖標(biāo),選擇協(xié)同。
在頂部菜單欄,單擊圖標(biāo),選擇目標(biāo)工作組,單擊資產(chǎn)加工 。
說(shuō)明若您已在資產(chǎn)加工頁(yè)面,請(qǐng)?zhí)^(guò)“單擊資產(chǎn)加工”的操作。
在左側(cè)導(dǎo)航欄,單擊圖標(biāo),選擇公共節(jié)點(diǎn)。
單擊圖標(biāo),在公共節(jié)點(diǎn)頁(yè)面,單擊新建節(jié)點(diǎn)。
在新建節(jié)點(diǎn)對(duì)話框,選擇MaxCompute MR節(jié)點(diǎn)類型,單擊確定。
在節(jié)點(diǎn)編輯頁(yè)面,進(jìn)行配置。
在頁(yè)面右側(cè)的節(jié)點(diǎn)屬性頁(yè)簽,自定義填寫(xiě)節(jié)點(diǎn)標(biāo)識(shí)、節(jié)點(diǎn)名稱以及節(jié)點(diǎn)描述并上傳算法包。
參數(shù)
說(shuō)明
節(jié)點(diǎn)名稱
節(jié)點(diǎn)的名稱,支持用戶自定義。
節(jié)點(diǎn)標(biāo)識(shí)
節(jié)點(diǎn)的唯一標(biāo)識(shí),由用戶自定義,同一個(gè)工作組必須是唯一的,不可重復(fù)。
節(jié)點(diǎn)目錄
節(jié)點(diǎn)所屬目錄。
公共節(jié)點(diǎn)版本
首次創(chuàng)建時(shí),默認(rèn)為開(kāi)發(fā)版本(Beta),待首次發(fā)布以后,再次發(fā)布,版本號(hào)依次疊加。
節(jié)點(diǎn)描述
節(jié)點(diǎn)的描述性信息,方便用戶理解和查找。
節(jié)點(diǎn)附件
本地編寫(xiě)完成的算法文件。
在編輯頁(yè)面,以Shell語(yǔ)言編寫(xiě)啟動(dòng)算法文件的腳本內(nèi)容,單擊圖標(biāo)。
說(shuō)明以Shell語(yǔ)言編寫(xiě)啟動(dòng)算法文件的腳本,腳本中引用算法文件時(shí),必須包含算法文件的后綴。
在確認(rèn)節(jié)點(diǎn)信息對(duì)話框中,確認(rèn)節(jié)點(diǎn)標(biāo)識(shí)、節(jié)點(diǎn)名稱以及節(jié)點(diǎn)目錄信息設(shè)置無(wú)誤后,單擊確認(rèn)。
單擊頁(yè)面右側(cè)運(yùn)行配置頁(yè)簽,選擇需要的開(kāi)發(fā)計(jì)算資源。
(條件必選)如果代碼中存在輸入、輸出表或者節(jié)點(diǎn)變量,則需要手動(dòng)添加節(jié)點(diǎn)輸入、輸出參數(shù)和節(jié)點(diǎn)變量。
打開(kāi)節(jié)點(diǎn)輸入后面的開(kāi)關(guān),單擊添加節(jié)點(diǎn)輸入,添加節(jié)點(diǎn)輸入,自定義填寫(xiě)輸入標(biāo)識(shí)并選擇輸入數(shù)據(jù)結(jié)構(gòu)。
打開(kāi)節(jié)點(diǎn)輸入后面的開(kāi)關(guān),單擊添加節(jié)點(diǎn)輸出,添加節(jié)點(diǎn)輸出,自定義填寫(xiě)輸出標(biāo)識(shí),并選擇輸出數(shù)據(jù)結(jié)構(gòu)。
單擊添加參數(shù),添加節(jié)點(diǎn)變量并賦值
單擊圖標(biāo),在SQL解析對(duì)話框中,確認(rèn)參數(shù)類型和默認(rèn)值無(wú)誤后,單擊確定。
說(shuō)明當(dāng)不存在參數(shù),則單擊運(yùn)行圖標(biāo)后,不會(huì)彈出SQL解析對(duì)話框。
查看運(yùn)行結(jié)果和日志,當(dāng)結(jié)果顯示“Current task status:SUCCESS”,則表示公共節(jié)點(diǎn)運(yùn)行成功。
說(shuō)明首次創(chuàng)建完成時(shí),默認(rèn)公共節(jié)點(diǎn)的版本為開(kāi)發(fā)版本(Beta),待第一次發(fā)布以后,版本號(hào)依次疊加。
方式二:寫(xiě)SQL語(yǔ)句方式
在頁(yè)面左上角,單擊圖標(biāo),選擇協(xié)同。
在頂部菜單欄,單擊圖標(biāo),選擇目標(biāo)工作組,單擊資產(chǎn)加工 。
說(shuō)明若您已在資產(chǎn)加工頁(yè)面,請(qǐng)?zhí)^(guò)“單擊資產(chǎn)加工”的操作。
在左側(cè)導(dǎo)航欄,單擊圖標(biāo),選擇公共節(jié)點(diǎn)。
單擊圖標(biāo),在公共節(jié)點(diǎn)頁(yè)面,單擊新建節(jié)點(diǎn)。
在新建節(jié)點(diǎn)對(duì)話框,選擇MaxCompute MR節(jié)點(diǎn)類型,單擊確定。
在節(jié)點(diǎn)編輯頁(yè)面,進(jìn)行配置。
在頁(yè)面右側(cè)的節(jié)點(diǎn)屬性頁(yè)簽,自定義填寫(xiě)節(jié)點(diǎn)名稱和節(jié)點(diǎn)標(biāo)識(shí)、描述等信息。
參數(shù)
說(shuō)明
節(jié)點(diǎn)名稱
節(jié)點(diǎn)的名稱,支持用戶自定義。
節(jié)點(diǎn)標(biāo)識(shí)
節(jié)點(diǎn)的唯一標(biāo)識(shí),由用戶自定義,同一個(gè)工作組必須是唯一的,不可重復(fù)。
節(jié)點(diǎn)目錄
節(jié)點(diǎn)所屬目錄。
公共節(jié)點(diǎn)版本
首次創(chuàng)建時(shí),默認(rèn)為開(kāi)發(fā)版本(Beta),待第一次發(fā)布以后,再次發(fā)布,版本號(hào)依次疊加。
節(jié)點(diǎn)附件
本地編寫(xiě)完成的算法文件。
節(jié)點(diǎn)描述
節(jié)點(diǎn)的描述性信息,方便用戶理解和查找。
在編輯頁(yè)面,輸入SQL語(yǔ)句,單擊圖標(biāo)。
說(shuō)明當(dāng)未保存修改,直接關(guān)閉當(dāng)前頁(yè)面,本地會(huì)緩存修改的代碼,當(dāng)再次打開(kāi)該節(jié)點(diǎn)編輯頁(yè)面時(shí),系統(tǒng)會(huì)給出提示:
當(dāng)單擊忽略,系統(tǒng)會(huì)清空本地緩存代碼。
當(dāng)單擊查看,系統(tǒng)會(huì)自動(dòng)打開(kāi)差異對(duì)比對(duì)話框,查看前后差異,確認(rèn)需要使用緩存代碼后,單擊使用未保存代碼,系統(tǒng)會(huì)將本地緩存代碼中的差異內(nèi)容更新到服務(wù)器代碼中。
(可選)當(dāng)需要在SQL中使用自定義函數(shù)時(shí),單擊引用函數(shù)頁(yè)簽,在自定義函數(shù)列表找到需要的自定義函數(shù),再返回編輯頁(yè)面輸入。若函數(shù)列表為空,則需要先新建函數(shù),更多操作請(qǐng)參見(jiàn)新建自定義函數(shù)。
在確認(rèn)節(jié)點(diǎn)信息對(duì)話框中,確認(rèn)節(jié)點(diǎn)標(biāo)識(shí)、節(jié)點(diǎn)名稱以及節(jié)點(diǎn)目錄信息設(shè)置無(wú)誤后,單擊確認(rèn)。
單擊頁(yè)面右側(cè)運(yùn)行配置頁(yè)簽,選擇需要的開(kāi)發(fā)計(jì)算引擎。
(條件必選)如果代碼中存在輸入、輸出表或者節(jié)點(diǎn)變量,則需要手動(dòng)添加節(jié)點(diǎn)輸入、輸出參數(shù)和節(jié)點(diǎn)變量。
打開(kāi)節(jié)點(diǎn)輸入后面的開(kāi)關(guān),單擊添加節(jié)點(diǎn)輸入,添加節(jié)點(diǎn)輸入,填寫(xiě)輸入標(biāo)識(shí),并選擇輸入數(shù)據(jù)結(jié)構(gòu)。
打開(kāi)節(jié)點(diǎn)輸出后面的開(kāi)關(guān),單擊添加節(jié)點(diǎn)輸出,添加節(jié)點(diǎn)輸出,填寫(xiě)輸出標(biāo)識(shí),并選擇輸出數(shù)據(jù)結(jié)構(gòu)。
單擊添加參數(shù),添加輸出參數(shù),填寫(xiě)變量名并賦值。
在節(jié)點(diǎn)編輯頁(yè)面,單擊左上角圖標(biāo)。
單擊圖標(biāo),在節(jié)點(diǎn)變量對(duì)話框中,確認(rèn)參數(shù)類型和默認(rèn)值無(wú)誤后,單擊確定。
說(shuō)明當(dāng)解析后不存在參數(shù),則單擊運(yùn)行圖標(biāo)后,不會(huì)彈出節(jié)點(diǎn)變量對(duì)話框。
查看運(yùn)行結(jié)果和日志,當(dāng)結(jié)果顯示“Current task status:SUCCESS”,則表示公共節(jié)點(diǎn)運(yùn)行成功。