資源管理用于存儲、管理代碼研發過程中所需的文件,如JAR、JSON、Python等資源文件。本文為您介紹如何新建資源及引用。
創建資源
在Dataphin首頁,單擊頂部菜單欄研發。
按照以下操作指引,進入新建資源對話框。
選擇項目(Dev-Prod模式需要選擇環境)->單擊資源->單擊新建圖標。
在新建資源對話框中,配置參數。
參數
描述
類型
選擇上傳文件的類型。系統默認支持上傳file(.xls, .xlsx, .doc, .docx, .txt, .csv)、archive(.zip, .tgz, .tar.gz, .tar, .jar)、jar、Python、cplus類型文件及其他(others)。
file:文本類型文件。通常用于任務需要讀取的數據信息。
archive:壓縮包類型文件。通常用于任務依賴的壓縮包。
Python:Python類型文件。通常用于Python任務依賴的資源文件。
cplus:C++源代碼文件類型。通常用于Impala任務注冊UDF。
名稱
填寫資源的名稱。命名規則如下:
資源的名稱在項目內不可重復且不可以數字開頭。
名稱由數字、字母、下劃線(_)、短劃線(-)或半角句號(.)組成。
名稱長度最多200個字符且不少于3個字符。
描述
填寫對資源簡單的描述,1000個字符以內。
上傳文件
根據已選的類型,選擇上傳文件。
計算類型
選擇資源的計算類型。
計算引擎:選擇計算引擎時,系統會將該資源上傳到項目綁定的計算引擎上。例如,MaxCompute。通常用于創建計算引擎的UDF,上傳JAR文件時,系統會調用引擎的
add jar xxx.jar
命令。無歸屬引擎:選擇無歸屬引擎時,資源將會只上傳到Dataphin。通常用于上傳需要使用的文本資源文件。例如file、archive等類型。
選擇目錄
選擇資源所存放的目錄。若無所需目錄,您可按照下圖操作指引,填寫您目錄名稱和選擇目錄所在位置進行創建。
單擊提交。
在提交備注對話框中,填寫資源的備注說明,128個字符以內。
單擊確定并提交,完成資源的創建。
說明如果項目的模式為Dev-Prod,則您需要發布資源至生產環境。具體操作,請參見管理發布任務。
引用資源
支持的引用方式
完成資源上傳后,您可以按照下圖操作指引快捷的復制該資源的引用語句,進行計算任務的開發。
您也可以在計算任務中直接使用
@resource_reference{"資源名稱"}
語句進行引用。
引用語句說明
@resource_reference{"資源名稱"}
引用語句,可以理解為將資源的文件路徑進行變量的定義。例如,以下Python代碼案例:
@resource_reference{"dataphin.xls"} # 引用dataphin.xls資源
# 導入xlrd模塊。
import xlrd
wb = xlrd.open_workbook('dataphince.xls') # 打開excel
sh = wb.sheet_by_name('Sheet1') # 按工作簿定位工作表
# 遍歷excel,打印所有數據
for i in range(sh.nrows):
print(sh.row_values(i))
@resource_reference{"dataphin.xls"}
語句等同于dataphin.xls = "/path/to/dataphin.xls"
語句,在后續的代碼中,可以使用上傳的資源名稱(即變量名)dataphin.xls
進行該資源的使用。