文件存儲NAS支持通過rsync命令行工具、Robocopy工具等直接下載數據到本地文件。您也可以將數據同步到OSS后再在OSS側下載數據到本地文件。
下載文件數據需要占用ECS公網帶寬,建議您新購一臺ECS實例專門負責文件數據下載,避免占用業務帶寬。具體操作,請參見使用新購ECS作為數據傳輸中轉節點。
通過SFTP客戶端遷移數據
當有少量文件需要一次性下載時,建議您在本地系統上安裝使用SFTP客戶端來完成。
方案優勢
支持眾多操作系統平臺。
提供圖形化操作界面。
操作步驟
為本地操作系統安裝SFTP客戶端。
SFTP的客戶端工具有多種版本,以下示例中使用的是FileZilla,請選擇適合您本地操作系統的版本下載安裝SFTP客戶端。
建立SFTP客戶端與中轉節點ECS之間的連接。
打開FileZilla客戶端,按照如下說明進行配置。單擊Quickconnect,建立連接。
在本地客戶端與ECS服務端的連接建立之后,左側區域會顯示本地文件系統,右側區域會顯示服務端ECS的文件系統。
參數
說明
Host
中轉節點ECS的公網IP地址。例如,192.0.2.1。
Username
中轉節點ECS的用戶名,且該用戶擁有讀寫NAS文件系統目錄的權限。例如,root。
說明Linux ECS實例的默認用戶名為:root或ecs-user。
Windows ECS實例的默認用戶名為:administrator。
Password
中轉節點ECS的登錄密碼。例如,root登錄密碼。
說明如果您忘記了中轉節點ECS實例的密碼,可通過重置實例登錄密碼重新為中轉節點ECS實例設置登錄密碼。具體操作,請參見重置實例登錄密碼。
Port
SFTP端口號,默認為22。
在頁面右側區域,設置Remote site中的路徑為掛載了NAS文件系統的路徑(例如/mnt),單擊回車即可查看到NAS中的文件列表。
下載數據。
將右側區域中的文件或目錄拖拽到左側區域,即完成數據下載。
通過rsync命令行工具遷移數據
當有大量文件下載或需要頻繁下載的任務時,建議您在本地系統安裝使用rsync命令行工具執行下載任務。
方案優勢
下載后的文件元數據不變(包括屬主及權限信息)。
支持數據增量同步。
本地Linux或macOS系統可配置crontab向云上NAS自動備份數據。
操作步驟
安裝rsync工具。
Linux操作系統
操作系統
執行命令
CentOS
使用yum包管理器安裝rsync。
sudo yum install rsync
Redhat
Ubuntu
使用apt包管理器安裝rsync。
sudo apt-get install rsync
Debian
說明如果您使用的其他版本Linux,請使用對應的包管理器安裝rsync工具。
macOS操作系統
請下載安裝homebrew包管理器,然后執行以下命令安裝rsync工具。
brew install rsync
Windows操作系統
請下載安裝Cygwin模擬環境,您可以在安裝過程中搜索安裝rsync工具,也可以手動下載編譯安裝rsync。
說明需在VPC安全組打開SSH(TCP 22)端口。
下載數據。
執行以下命令,從阿里云NAS下載數據到本地目錄。
rsync -avP root@192.0.2.0:/mnt/DirToSync/ DirToSync/
參數
說明
192.0.2.0
已掛載文件存儲NAS文件系統的Linux/Windows ECS公網IP。
/mnt/DirToSync
NAS中待導出的數據目錄。
DirToSync
本地目錄。
說明rsync命令中的路徑結尾必須帶有正斜線(/),否則數據路徑不匹配。
通過Robocopy工具遷移數據
方案優勢:
Robocopy是Windows系統自帶的目錄復制命令,該功能可以創建兩個文件結構相同的鏡像副本且不復制任何不需要的重復文件,同時還允許您保留所有相關的文件信息,包括日期、時間戳等等。
同時您也可以通過在windows ECS上安裝最新的Python程序配置migration.py腳本實現海量數據遷移。具體操作,請參見如何加速遷移數據至NAS SMB協議文件系統。
操作步驟
登錄用于遷移數據的阿里云ECS實例。
遷移數據。
執行以下命令,將源文件系統(Z盤)中的數據遷移到目標文件系統(Y盤)中。
robocopy Z:\ Y:\ /e /w:5 /z /mt:32
說明僅遷移指定目錄下的數據,不包括指定目錄。
重要字段說明如下,請根據實際情況替換。
參數
說明
/mt
設置并發的線程數。默認值為8。
取值為1~128。
本文示例32個線程進行多線程復制。
/w
設置每次錯誤重試的間隔秒數。
/z
開啟斷點續傳。
/e
拷貝所有子目錄(包括空目錄)。
/copyall
復制所有的文件信息。包含:
數據
屬性
時間戳
訪問控制列表(ACL)
所有者信息
審計信息
說明如果您想加速遷移海量數據(例如,10 T以上的上億小文件),可通過在windows ECS上安裝最新的Python程序執行遷移。具體操作,請參見如何加速遷移數據至NAS SMB協議文件系統。
檢查遷移結果。
遷移完后,執行以下Robocopy命令,檢查目標文件系統是否與源文件系統一致。
ROBOCOPY Z:\ Y:\ /e /l /ns /njs /njh /ndl /fp /log:reconcile.txt
重要字段說明如下,請根據實際情況替換。
參數
說明
/e
僅列出目錄(包括空目錄)。
/l
不修改或復制文件,僅記錄差異。
/fp
指在日志中包括文件的完整路徑(僅在省略/ndl時有必要)。
/ns
指不在日志中包括文件大小。
/ndl
指不在日志中包括文件夾。
/njs
指不包括作業摘要。
/njh
不包括作業頭。
/log:reconcile.txt
將遷移結果寫入reconcile.txt日志中。如果已存在,將覆蓋現有日志。
通過IIS FTP遷移數據
當有少量文件需要一次性下載時,建議您在本地系統配置FTP客戶端來完成,此方案具有以下優點:
方案優勢
支持眾多操作系統平臺。
提供圖形化操作界面。
操作步驟
具體操作,請參見設置Windows IIS Web服務。
需在VPC安全組打開對應的FTP TCP端口。
您也可以配置其他FTP服務端和客戶端進行公網上傳下載數據。
彈性公網IP對入方向流量不收費,僅對出方向流量收費。也就是說,從公網上傳數據到NAS不會收取流量費用,而從NAS下載數據則會收取流量費用。計費詳情請參見彈性公網IP按量付費。
將數據遷移至OSS后再下載
您可以通過ossutil工具或在線遷移服務將數據同步到OSS,然后在OSS側下載數據到本地文件。
將數據遷移至OSS
使用ossutil工具遷移數據至OSS。具體操作,請參見使用ossutil工具遷移。
通過在線遷移服務將文件存儲NAS中的數據遷移至OSS。具體操作,請參見使用在線遷移服務遷移。
在OSS側下載文件到本地。具體操作,請參見簡單下載。