DSW提供了數據上傳和下載功能,用于文件傳輸。上傳的數據文件可以作為數據源進行模型訓練和評估,模型訓練完成后,您可以將得到的預測結果或者模型導出,用在其他應用程序或系統中進行服務部署。本文為您介紹如何在Notebook或WebIDE頁面上傳與下載數據文件。
背景信息
通過DSW上傳或下載數據時,您可以根據文件大小選擇對應的操作方式。
使用限制
通過Notebook的文件中轉站上傳文件時,限制如下:
支持多選文件同時上傳,同時上傳的文件個數不超過5個,超過5個文件的部分會進入排隊流程。
暫不支持文件夾上傳,如有文件夾上傳需求,建議您打包為壓縮文件后上傳,詳情見常見問題。
文件中轉站中的文件默認有效期為7天,文件過期前支持點擊延期,每次點擊延期會延長7天有效期。
有效期已經超過7天的文件不支持繼續延期。
文件中轉站最多存放1000個文件,總容量10 GB。
Notebook的工作目錄為
/mnt/workspace/
,如果需要下載的文件在其他目錄下,請將文件移動到/mnt/workspace/
。
前提條件
創建DSW實例。具體操作,請參見創建DSW實例。
使用Notebook上傳或下載文件
登錄PAI控制臺,打開要操作的DSW實例。
在Notebook頁面上傳或下載數據。
區域
上傳/下載
說明
①
上傳
單擊,或將文件拖拽到文件列表的空白處進行上傳,系統會根據文件大小確定上傳方式:
文件小于等于10 MB,直接通過瀏覽器上傳到實例。
如果文件大于10 MB,小于等于5 GB,文件會自動上傳到文件中轉站,再從文件中轉站自動保存到實例。
②
下載
右鍵單擊文件,選擇Download,即可將文件下載到本地。
(可選)單擊左側工具欄,進入文件中轉站頁面,可查看傳輸列表或對文件進行操作。
區域
說明
①
單擊,查看文件中轉站的傳輸列表。
②
單擊目標文件右側的,可進行以下操作:
文件傳輸完成之后,會自動保存到實例。如果您需要在當前實例重復保存該文件,您可以單擊保存至實例將文件保存至當前實例中。如果您需要在同一RAM賬號下的其他實例中使用該文件,可以在進入目標實例后單擊保存至實例。
文件中轉站的文件默認有效期為7天,您可以在文件過期前單擊延期,延長文件有效期。
單擊刪除,即可刪除文件中轉站里的文件,不會刪除文件列表中的文件。
使用WebIDE上傳或下載文件
在DSW實例頁面,單擊WebIDE。
在WebIDE頁面,單擊左側工具欄,在文檔列表中上傳或下載數據:
上傳文件:右鍵單擊目標目錄,選擇Upload,按照界面操作指引上傳文件。
下載文件:右鍵單擊目標文件,選擇Download下載文件。
說明當前只支持下載文件,不支持下載文件夾。如果您需要下載文件夾,可以在Terminal中將文件夾打包,然后通過右鍵菜單進行下載。
常見問題
如何上傳下載文件夾
目前DSW不支持直接上傳和下載文件夾,但您可以通過打包為壓縮文件的方式實現文件夾的上傳和下載。DSW Terminal提供了一個Linux環境,可以使用標準的Linux命令行工具,如tar
、gzip
、unzip
等,來解壓縮文件。以tar
為例使用示例如下。
使用
tar --version
查看tar是否安裝,如果沒有,則可參考如下命令進行安裝。# 對于基于Debian的系統(例如 Ubuntu)的安裝命令 sudo apt install tar # 基于Red Hat的系統(例如CentOS、Fedora)的安裝命令 sudo yum install tar
解壓縮文件夾。
# 壓縮文件夾, /path/to/diretory為要壓縮的文件夾 tar -cvf archive_name.tar /path/to/directory # 解壓文件夾 tar -xvf archive_name.tar