Dataphin提供租戶級的三方庫管理功能。在Dataphin中進行Python計算任務開發時,若需要使用Python三方庫進行開發,需要通過三方庫功能安裝Python Module后,才可以在計算任務中正常引用。本文將為您介紹如何使用Dataphin三方庫管理進行Python計算任務開發。
案例說明
本案例以使用xlrd三方庫為例。
操作步驟
步驟一:安裝Python Module。
在Dataphin首頁,單擊頂部菜單欄管理中心->系統設置。
按照以下操作指引,進入安裝Python Module對話框。
依次單擊Python三方包->Python Module->安裝Python Module。
在安裝Python Module對話框中,配置參數。
參數
描述
Module 名稱
填寫xlrd。
Python 版本
選擇Python 3.7版本。
安裝方式
選擇在線安裝方式。
單擊確定,等待
xlrd
模塊完成安裝。
步驟二:創建Python計算任務并引入三方庫
在Dataphin首頁,單擊頂部菜單欄研發->數據研發。
按照以下操作指引,進入新建PYTHON任務對話框。
選擇項目(Dev-Prod模式需要選擇環境)->單擊計算任務->單擊新建圖標->單擊PYTHON。
在新建PYTHON任務對話框,配置參數。
參數
描述
任務名稱
填寫代碼任務的名稱。例如,xlrd包測試。
調度類型
選擇手動任務。
選擇目錄
選擇代碼任務的目錄。
使用模板
默認不開啟。
Pyhton三方包
選擇步驟一中安裝成功的xlrd包。
描述
填寫對任務的簡單描述。例如,xlrd包測試。
單擊確定。
在Python任務代碼編寫頁面,選擇Python3.7版本并編寫代碼。本案例測試代碼如下:
說明dataphin.xls
資源可以使用任意的.xls格式文件上傳Dataphin資源后進行引用,資源名替換為創建上傳時填寫的資源名稱。更多信息,請參見上傳資源及引用。@resource_reference{"dataphin.xls"} # 引用dataphin.xls資源 # 導入xlrd模塊。 import xlrd wb = xlrd.open_workbook('dataphince.xls') # 打開excel sh = wb.sheet_by_name('Sheet1') # 按工作簿定位工作表 # 遍歷excel,打印所有數據 for i in range(sh.nrows): print(sh.row_values(i))
在代碼編寫頁面,保存并提交SQL任務。
單擊頁面上的圖標,運行代碼。
單擊頁面右上方的圖標,提交代碼。
在提交備注頁面,填寫備注信息。
單擊確定并提交。