MaxCompute通過Tunnel實現(xiàn)上傳下載數(shù)據(jù)功能。本文為您介紹如何通過Tunnel上傳、下載數(shù)據(jù)。
Tunnel操作詳情請參見Tunnel命令。Tunnel操作常用命令如下。
類型 | 功能 | 角色 | 操作入口 |
將本地文件的數(shù)據(jù)上傳至MaxCompute的表中,以追加模式導入。 | 具備修改表權限(Alter)的用戶。 | 本文中的命令您需要在MaxCompute客戶端執(zhí)行。 | |
將MaxCompute表數(shù)據(jù)或指定Instance的執(zhí)行結果下載至本地。 | 具備讀取表數(shù)據(jù)權限(Select)的用戶。 |
上傳數(shù)據(jù)
將本地文件的數(shù)據(jù)上傳至MaxCompute的表中,以追加模式導入。上傳數(shù)據(jù)至MaxCompute不收取費用。
使用限制
支持文件或目錄(指一級目錄)的上傳,每一次上傳只支持數(shù)據(jù)上傳到一張表或表的一個分區(qū)。
分區(qū)表一定要指定上傳的分區(qū),多級分區(qū)一定要指定到末級分區(qū)。
命令格式
Tunnel upload <path> [<project_name>.]<table_name>[/<pt_spc>];
參數(shù)說明
path:必填。上傳數(shù)據(jù)文件的存放路徑以及文件名稱。默認上傳的數(shù)據(jù)文件為TXT格式。
數(shù)據(jù)文件的歸檔路徑有兩種選擇:您可以將文件直接歸檔至MaxCompute客戶端的
bin
目錄中,此時path需要設置為文件名.后綴名
;也可以將文件歸檔至其他路徑下,例如D盤的test文件夾,path需要設置為D:\test\文件名.后綴名
。說明macOS系統(tǒng)中path值只能使用絕對路徑,例如文件歸檔在MaxCompute客戶端的
bin
目錄中,此時path需要設置為D:\MaxCompute\bin\文件名.后綴名
。project_name:可選。目標表所屬項目空間名稱。跨項目空間訪問表時需要指定該參數(shù)。
table_name:必填。目標表名。
pt_spc:可選。需要指定至最末級分區(qū)。格式為
partition_col1=col1_value1, partition_col2=col2_value1...
。
使用示例
示例1:將log.txt中的數(shù)據(jù)上傳至當前項目空間的表test_table中。log.txt文件歸檔在MaxCompute客戶端的
bin
目錄中。命令示例如下。Tunnel upload log.txt test_table;
示例2:將log.txt中的數(shù)據(jù)上傳至項目空間test_project的表test_table(二級分區(qū)表)中的
p1="b1",p2="b2"
分區(qū)。log.txt文件歸檔在D盤的test文件夾中。命令示例如下。Tunnel upload D:\test\log.txt test_project.test_table/p1="b1",p2="b2";
下載數(shù)據(jù)
將MaxCompute表數(shù)據(jù)或指定Instance的執(zhí)行結果下載至本地。MaxCompute僅對公網(wǎng)的數(shù)據(jù)下載,按照下載的數(shù)據(jù)大小進行計費,一次下載費用=下載數(shù)據(jù)量(GB)×下載價格(0.8元/GB)。
使用限制
只支持下載到單個文件,每一次下載只支持下載一張表或一個分區(qū)到一個文件。
分區(qū)表一定要指定下載的分區(qū),多級分區(qū)一定要指定到末級分區(qū)。
命令格式
Tunnel download [<project_name>.]<table_name>[/<pt_spc>] <path>;
參數(shù)說明
project_name:可選。目標表所屬項目空間名稱。跨項目空間訪問表時需要指定該參數(shù)。
table_name:必填。目標表表名。
pt_spc:可選。需要指定至最末級分區(qū)。格式為
partition_col1=col1_value1, partition_col2=col2_value1...
。path:必填。下載數(shù)據(jù)文件的存放路徑以及文件名稱。默認下載的數(shù)據(jù)文件為TXT格式。
數(shù)據(jù)文件的保存路徑有兩種選擇:您可以將文件直接下載至MaxCompute客戶端的
bin
目錄中,此時path需要設置為文件名.后綴名
;也可以將文件下載至其他路徑下,例如D盤的test文件夾,path需要設置為D:\test\文件名.后綴名
。
使用示例
示例1:將test_project.test_table表(二級分區(qū)表)中的數(shù)據(jù)下載到test_table.txt文件中。test_table.txt文件位于MaxCompute客戶端的
bin
目錄中。命令示例如下。Tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt;
示例2:將test_project.test_table表(二級分區(qū)表)中的數(shù)據(jù)下載到test_table.txt文件中。test_table.txt文件位于D盤的test文件夾中。命令示例如下。
Tunnel download test_project.test_table/p1="b1",p2="b2" D:\test\test_table.txt;