功能概覽
阿里云云備份提供非結(jié)構(gòu)化文件系統(tǒng)類數(shù)據(jù)同步功能,可以將源端數(shù)據(jù)源(包括NAS、HDFS、S3兼容存儲、對象存儲OSS、CPFS、OSS協(xié)議兼容存儲等)同步至目的端數(shù)據(jù)源(包括阿里云上)。本文介紹云備份的數(shù)據(jù)同步功能概覽,包括數(shù)據(jù)同步的簡介、工作原理、操作流程和費用等。
簡介
數(shù)據(jù)同步功能是阿里云云備份提供的一項在線數(shù)據(jù)同步服務,便于將源端數(shù)據(jù)(包括NAS、HDFS、S3兼容存儲、對象存儲OSS、CPFS、OSS協(xié)議兼容存儲等)同步到目的端(包括阿里云上)。
云備份Windows客戶端不支持使用NFS協(xié)議掛載NAS。如果源端或者目的端包含NFS協(xié)議的NAS,請您在創(chuàng)建同步計劃時選擇云備份Linux客戶端。
OSS/S3均不支持同步歸檔類型的Object, 僅復制Object的數(shù)據(jù)(包括軟鏈接Symlink指向的文件),不支持復制Object讀寫權(quán)限等元數(shù)據(jù)信息。
關(guān)鍵優(yōu)勢
增量同步
支持增量策略,同步任務可以按照預設時間自動運行,增量同步時僅同步變化的文件,大幅提升同步效率。
操作簡單
云上數(shù)據(jù)源原生支持,配置簡單。
性能卓越
優(yōu)化的數(shù)據(jù)傳輸鏈路,相比傳統(tǒng)拷貝工具性能大幅提升。
工作原理
您首先需要在本地一臺或多臺服務器上安裝并激活云備份客戶端,然后登錄云備份控制臺添加數(shù)據(jù)源(源端數(shù)據(jù)源和目標端數(shù)據(jù)源)。
創(chuàng)建同步計劃。在執(zhí)行同步任務時,云備份客戶端組會對指定的文件夾進行掃描,識別需要同步的文件,將增量數(shù)據(jù)上傳至云端,完成同步。
云備份支持通過公網(wǎng)、VPN或?qū)>€同步至阿里云。對于通過公網(wǎng)同步,只需要安裝云備份客戶端的服務器能夠訪問公網(wǎng)即可,不需要將該服務器向公網(wǎng)暴露IP。
操作流程
使用云備份控制臺進行數(shù)據(jù)同步的步驟如下所示:
同步HDFS、本地NAS、S3兼容存儲、CPFS、對象存儲OSS和OSS協(xié)議兼容存儲數(shù)據(jù)源前,您需要在數(shù)據(jù)源所在服務器安裝客戶端。客戶端用于和云備份建立數(shù)據(jù)和管控服務。
開通云備份免費。使用該功能,云備份不收取任何費用。阿里云NAS收取公網(wǎng)讀取文件費用和存儲文件費用,阿里云OSS收取存儲文件費用。計費詳情請參見阿里云NAS計費概述和阿里云OSS計費概述。
同步HDFS、本地NAS、S3兼容存儲、CPFS、對象存儲OSS和OSS協(xié)議兼容存儲前,您需要在執(zhí)行同步任務的服務器上安裝客戶端,服務器要求和數(shù)據(jù)源節(jié)點網(wǎng)絡互通。客戶端用于和云備份建立通信服務和管控服務。
在云備份控制臺添加HDFS、本地NAS、S3兼容存儲、CPFS、對象存儲OSS和OSS協(xié)議兼容存儲數(shù)據(jù)源。
創(chuàng)建數(shù)據(jù)同步計劃,云備份啟動計劃并按照計劃持續(xù)同步數(shù)據(jù)。
使用限制
云備份Windows客戶端不支持使用NFS協(xié)議掛載NAS。如果源端或者目的端包含NFS協(xié)議的NAS,請您在創(chuàng)建同步計劃時選擇云備份Linux客戶端。
OSS/S3均不支持同步歸檔類型的Object, 僅復制Object的數(shù)據(jù)(包括軟鏈接Symlink指向的文件),不支持復制Object讀寫權(quán)限等元數(shù)據(jù)信息。
增量文件列表(ChangeList)
按照增量文件列表同步數(shù)據(jù),不需要進行全量掃描,能夠減少掃描文件成本,提升同步效率。創(chuàng)建同步計劃,若您選擇的數(shù)據(jù)源為對象存儲OSS或者S3兼容存儲,則可以使用定制化增量文件列表同步功能。
增量文件列表是一個包含數(shù)據(jù)源上需要同步的文件信息的CSV表格。每一行代表一個文件,其中的Name字段表示相對于數(shù)據(jù)源同步路徑的相對路徑。例如,如下是一個名稱為
changeList1.csv
的表格,Name字段是必須列,用于記錄待同步文件列表。其他列暫不支持。說明Name取值不能重復,否則在數(shù)據(jù)同步時會相互覆蓋。
Name不能取值為目錄,必須指定為一個文件。
在創(chuàng)建數(shù)據(jù)同步計劃時,填寫增量文件列表所在的目錄路徑。數(shù)據(jù)同步任務啟動時,會讀取源端數(shù)據(jù)源上該路徑下的所有CSV文件,并進行解析,將需要同步的文件傳輸?shù)侥繕硕恕?/p>
說明例如,創(chuàng)建OSS到NAS同步計劃,可用增量文件列表指定待同步的文件列表。增量文件列表
changeList1.csv
和changeList2.csv
保存于源端/changelist
目錄下,則增量文件列表路徑取值為/changelist
。每個CSV表格內(nèi)的文件處理完成后,該CSV表格會被移動到更深一層的
/Completed
目錄中,用于記錄處理完成。處理前CSV表格目錄
處理后CSV表格目錄
/changelist/changeList1.csv /changelist/changeList2.csv
/changelist/Completed/changeList1.csv /changelist/Completed/changeList2.csv
費用
使用該功能,云備份不收取任何費用。
使用阿里云NAS,NAS收取文件存儲費用。更多信息,請參見阿里云NAS計費概述。
使用阿里云OSS,OSS收取文件存儲費用。更多信息,阿里云OSS計費概述。
使用阿里云CPFS,CPFS會根據(jù)存儲規(guī)格、配置容量大小和時長收取一定的存儲費用。更多信息,請參見阿里云CPFS計費概述。