MaxCompute Notebook是由MaxCompute提供的全托管、交互式數據分析挖掘模塊,為數據工程師、數據分析師及數據科學家等人員提供Web交互式開發環境。支持用戶通過SQL、PyODPS、Python等進行數據分析、探索,挖掘數據的價值,完成大數據與AI的融合應用開發。本文為您介紹如何使用Notebook功能。
版本說明
當前MaxCompute Notebook功能處于公測階段,每個租戶最多可啟動5個Notebook實例,每個實例提供2 CU免費計算資源供用戶進行開發工作。
目前MaxCompute Notebook已開通的區域包括:華東1(杭州)、華北2(北京)、華東2(上海)、華南1(深圳)、華北6(烏蘭察布)。
如果您有MaxCompute Notebook功能使用問題 ,可以搜索加入MaxCompute Notebook功能支持釘釘群:29455027568。
前提條件
已創建MaxCompute項目。詳情請參見創建MaxCompute項目。
已創建MaxCompute與VPC網絡之間的連接,以便后續在Notebook實例中訪問MaxCompute的數據。詳情請參見創建網絡連接。
注意事項
創建的網絡連接、文件系統及MaxCompute項目必須與Notebook實例處于同一地域,保障其網絡連通性。
若需要刪除已創建的網絡連接,請謹慎操作,刪除前請先確保您的目標網絡連接沒有被Notebook實例使用,否則會導致Notebook實例啟動失敗。
功能優勢
MaxCompute Notebook基于開源JupyterLab進行了深度優化,結合MaxCompute強大的數據處理能力幫助用戶一站式完成數據分析、挖掘及探索等工作。
多引擎支持
支持MaxCompute PyODPS、MaxFrame等多種Python開發方式,您無需轉變原有的開發方式可快速開始數據分析、數據挖掘工作。
與MaxCompute深度集成
MaxCompute Notebook可基于現有MaxCompute計算資源池快速創建實例,您無需進行復雜配置,可快速拉起MaxCompute Notebook實例。
內置豐富函數庫
MaxCompute Notebook內置pandas、numpy、pyplot、pyecharts、matplotlib等大量數據分析、挖掘及可視化擴展庫,無需花費大量時間準備開發環境,滿足您日常數據挖掘及可視化分析需求。
安全保障
MaxCompute Notebook采用Bearer Token方式進行用戶認證,通過MaxCompute Notebook連接MaxCompute集群時,您無需再配置AK和SK信息,降低了AK、SK泄露的風險。
快速入門
步驟一:創建實例模版
您可在Notebook頁面創建實例模版,以供后續創建Notebook實例時引用。
進入Notebook列表頁面,在實例模版頁簽單擊新增實例模版。
在新增實例模版對話框中,配置以下參數。
參數名
描述
實例模版名稱
待創建的Notebook實例模版名稱。
描述
實例模版相關描述。
自動釋放設置
可設置實例釋放時間。
否:不自動釋放實例。
是:xx小時后自動釋放實例。
選擇計算引擎
內置MaxFrame SDK,可直接使用。
單擊確定,完成實例模版的創建。
步驟二:創建Notebook實例
登錄MaxCompute控制臺,單擊工作區 > Notebook,進入Notebook列表頁面。
在實例管理頁簽單擊新增實例,配置頁面參數。
參數名
描述
實例名稱
待創建的Notebook實例名稱。
描述
實例相關描述。
關聯項目
用于后續免AK、SK關聯項目進行數據操作。
實例創建方式
支持自定義創建及基于實例模版創建。
選擇實例模版
實例創建方式為基于實例模版創建時配置該參數。選擇已創建的實例模版,或新增實例模版,詳情請參見步驟一:創建實例模版。
自動釋放設置
實例創建方式為自定義創建時配置該參數。
否:不自動釋放實例。
是:填寫自動釋放時間,在xx小時后自動釋放實例。
計算資源
選擇配額組(Quota)。
說明目前僅支持選擇按量付費Quota。
存儲配置
選擇已創建的數據存儲,可掛載用戶NAS,用于持久化保存腳本文件。
您也可單擊創建數據存儲進行新建,詳情請參見附錄:創建數據存儲。
計算引擎
內置MaxFrame SDK,可直接使用。
是否共享當前實例
租戶內可見:當前實例租戶內所有用戶可見。
僅自己可見:僅對您和管理員可見。
單擊確定,當目標Notebook實例狀態變為運行中時,表示實例啟動成功。
說明完成實例創建后,也可單擊目標實例操作列的 > 自動釋放設置更改自動釋放配置。
步驟三:進行Notebook開發
為方便您快速熟悉并上手進行開發工作,MaxCompute Notebook為您提供基于MaxFrame實現分布式Pandas處理的開發Demo腳本,其中包含了數據準備、數據分析、數據探查及數據分布式處理等內容,您可單擊product_sales_demo_nb.ipynb進行下載,下述為您介紹MaxCompute Notebook的開發使用過程:
進入Notebook實例頁面,上傳Demo腳本。
單擊目標實例操作列的進入,在實例頁面左側單擊上傳Demo腳本。
填寫相關項目信息并執行腳本文件,生成可視化結果。
雙擊左側的product_sales_demo_nb.ipynb腳本,打開腳本文件,根據其中的提示信息,填寫
PROJECT_NAME
。您可以根據需要選擇使用Notebook實例中已關聯的項目或其他項目。使用已關聯的項目:
需要在腳本文件中,將2.2 準備數據小節的創建ODPS對象代碼塊中的
project=PROJECT_NAME
替換為project=os.getenv('ODPS_PROJECT_NAME')
,此時2.1 準備項目小節中的PROJECT_NAME
可以無需填寫。使用其他項目:
PROJECT_NAME
需要配置為后續進行計算的MaxCompute項目名稱。
單擊腳本文件上方的,然后在Restart Kernel?對話框中單擊Restart,執行腳本代碼。當頁面右上角的圓圈圖標變為空心的,且代碼中沒有報錯時,表示執行成功。
查看Matplotlib生成的圖表,對數據挖掘分析結果進行可視化展示。
步驟四(可選):釋放Notebook實例
開發完成后,進入Notebook實例管理頁簽,單擊目標實例操作列的停止,然后單擊刪除,可釋放Notebook實例。