Notebook開發(fā)編輯器
云原生數(shù)據(jù)倉庫 AnalyticDB MySQL 版集群中的Notebook開發(fā)是基于控制臺的交互式數(shù)據(jù)分析開發(fā)平臺,提供了作業(yè)編輯、數(shù)據(jù)分析、數(shù)據(jù)可視化等功能。Notebook開發(fā)支持Spark SQL和Python兩種編程語言編寫Spark應(yīng)用程序。
前提條件
AnalyticDB for MySQL集群的產(chǎn)品系列為企業(yè)版、基礎(chǔ)版或湖倉版。
已創(chuàng)建Job型資源組,且計算最大資源需大于等于8 ACU。具體操作,請參見新建資源組。
已創(chuàng)建AnalyticDB for MySQL集群的數(shù)據(jù)庫賬號。
如果是通過阿里云賬號訪問,只需創(chuàng)建高權(quán)限賬號。具體操作,請參見創(chuàng)建高權(quán)限賬號。
如果是通過RAM用戶訪問,需要創(chuàng)建高權(quán)限賬號和普通賬號并且將RAM用戶綁定到普通賬號上。具體操作,請參見創(chuàng)建數(shù)據(jù)庫賬號和綁定或解綁RAM用戶與數(shù)據(jù)庫賬號。
OSS的存儲空間與AnalyticDB for MySQL集群需要使用相同的阿里云賬號(主賬號)和地域。
已授權(quán)AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色來訪問其他云資源。具體操作,請參見賬號授權(quán)。
注意事項
Notebook功能已于2024年5月10日下線。
如果在2024年5月10日前,您的集群創(chuàng)建過Notebook,2024年5月10日后,仍可正常使用Notebook。
如果在2024年5月10日前,您的集群從未創(chuàng)建過Notebook,2024年5月10日后,將無法在AnalyticDB for MySQL控制臺使用Notebook。
企業(yè)版或基礎(chǔ)版如有需要,可以使用DMS的Notebook功能,操作詳情請參見使用Notebook開發(fā)。
創(chuàng)建Notebook
登錄云原生數(shù)據(jù)倉庫AnalyticDB MySQL控制臺,在左上角選擇集群所在地域。在左側(cè)導(dǎo)航欄,單擊集群列表。在集群列表上方,選擇產(chǎn)品系列,然后單擊目標集群ID。
在左側(cè)導(dǎo)航欄,單擊作業(yè)開發(fā)>Notebook開發(fā)。
在Notebook開發(fā)頁面,單擊頁面右上角的創(chuàng)建Notebook。
在彈出的日志配置對話框中,選擇默認或自定義日志路徑,并單擊確定。
說明首次創(chuàng)建Notebook時系統(tǒng)會檢測是否已配置日志路徑,用于存放SPARK服務(wù)運行時的日志。若已配置則此步驟自動跳過;否則將彈出對話框進行提醒。
在創(chuàng)建Notebook面板,配置如下參數(shù)。
參數(shù)
描述
示例
資源組
選擇Job型資源組,Job資源組需滿足以下條件:
資源組狀態(tài)為運行中。
計算最大資源需大于等于8 ACU。
名稱
Notebook的名稱,配置規(guī)則如下:
名稱長度在64個字符之內(nèi)。
名稱由大寫字母、小寫字母、數(shù)字、下劃線(_)和短劃線(-)組成。
名稱具有唯一性。
notebook-test
描述
Notebook的描述。
功能測試
單擊確定。
開發(fā)Notebook
在Notebook開發(fā)頁面,單擊目標Notebook名稱,在段落區(qū)域進行開發(fā)。
Notebook頁面說明如下:
①菜單欄
參數(shù) | 說明 | |
資源組 | 新建資源組 | 可新建Job型資源組。具體操作,請參見新建資源組。 |
修改資源組 | 可修改Notebook的資源組。修改規(guī)則如下:
重要 修改資源組將重啟Notebook Kernel,重啟過程預(yù)計等待3分鐘,重啟期間執(zhí)行中的Notebook作業(yè)會失敗。 | |
Kernel | 重啟Kernel | 可重啟Notebook Kernel,重啟過程預(yù)計等待3分鐘,重啟期間執(zhí)行中的Notebook作業(yè)會失敗。 |
銷毀Kernel | 可銷毀Notebook Kernel,執(zhí)行中的Notebook作業(yè)將會失敗。 |
②工具欄
參數(shù) | 說明 |
保存Notebook作業(yè)。其他保存方式:
| |
添加段落。其他添加段落方式為將鼠標移至段落中間,單擊+添加段落。 | |
執(zhí)行全部段落的代碼。 | |
暫停執(zhí)行全部段落的代碼。 重要 運行中的Notebook作業(yè)無法暫停。 | |
清除全部段落的執(zhí)行結(jié)果。 | |
配置Notebook作業(yè)的啟動參數(shù)。配置參數(shù)的詳細信息,請參見Spark應(yīng)用配置參數(shù)說明。 示例如下:
重要 配置Notebook作業(yè)的啟動參數(shù)將重啟Notebook Kernel,重啟過程預(yù)計等待3分鐘,重啟期間執(zhí)行中的Notebook作業(yè)會失敗。 |
③狀態(tài)欄
參數(shù) | 說明 |
Notebook作業(yè)的保存狀態(tài),控制臺將每隔5秒自動保存一次Notebook作業(yè)。 | |
Notebook Kernel的狀態(tài),控制臺將每隔5秒自動刷新一次Notebook Kernel的狀態(tài)。Notebook Kernel的狀態(tài)取值如下:
|
④段落
段落頁面說明如下:
參數(shù) | 說明 |
① | 運行的句柄ID:標識運行語句的唯一句柄ID,用于問題定位。 |
② | 代碼編輯框:語法關(guān)鍵詞自動高亮,支持Spark SQL和Python兩種編程語言。 |
③ | 工具欄:包括語言切換、代碼格式化、執(zhí)行代碼、暫停運行代碼、清空結(jié)果和刪除段落。具體說明如下:
|
④ | 運行結(jié)果:僅Spark SQL執(zhí)行結(jié)果以表格形式展示,其它語言的執(zhí)行結(jié)果以文本形式展示。 |
⑤ | 運行狀態(tài)欄:包括執(zhí)行狀態(tài)、耗時和最后更新時間。 |
錯誤碼說明
錯誤碼 | 錯誤信息 | 解決方案 |
Console.NotebookNamingDuplicate | Notebook名稱重復(fù)。 | 請重新設(shè)置Notebook名稱。 |
Console.NotebookParagraphNotRunning | Notebook代碼未執(zhí)行。 | 請執(zhí)行Notebook代碼。 |
Console.NotebookParagraphMissingProgramCode | Notebook段落找不到程序代碼。 | 請在段落中編寫程序代碼。 |
Console.NotebookKernelNotStartup | Notebook Kernel未啟動。 | 請啟動Notebook Kernel。 |
Spark.NotebookKernelStarting | Notebook Kernel啟動中。 | 請稍后重試。 |
Spark.NotebookKernelBusy | Notebook Kernel待執(zhí)行代碼數(shù)較多。 | 請稍后重試。 |
Spark.NotebookKernelExpired | Notebook Kernel已過期。 | 請重啟Kernel。 |
Spark.NotebookKernelInvalidStatus | Notebook Kernel狀態(tài)無效。 | 請重啟Kernel。 |
Spark.GetNotebookKernelFailed | Notebook Kernel啟動失敗。 | 請聯(lián)系技術(shù)支持。 |
Spark.GetNotebookKernelStateFailed | Notebook Kernel狀態(tài)查詢失敗。 | |
Spark.ExecuteNotebookStatementFailed | Notebook代碼執(zhí)行失敗。 | |
Spark.CancelNotebookStatementFailed | Notebook代碼暫停執(zhí)行失敗。 | |
Spark.GetNotebookStatementResultFailed | Notebook代碼返回結(jié)果查詢失敗。 | |
Spark.CloseNotebookKernelFailed | Notebook Kernel關(guān)閉失敗。 | |
Console.NotebookNotFound | 已創(chuàng)建的Notebook找不到。 | |
Console.NotebookCreateFailed | Notebook創(chuàng)建失敗。 | |
Console.NotebookParagraphNotFound | Notebook段落找不到。 | |
Console.NotebookParagraphCreateFailed | Notebook段落創(chuàng)建失敗。 |