阿里云NAS之間遷移實踐
本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
本文將介紹如何通過LocalFs的最佳實踐來進行阿里云NAS之間數據的遷移。
概述
阿里云提供的在線遷移服務是一種存儲產品數據通道,客戶有時需要在阿里云NAS之間進行數據遷移。本文檔詳細介紹了針對這一場景的相關內容。
遷移過程數據不保證數據一致性,請您務必在遷移任務完成后,校驗目的端遷移數據。您在刪除源數據前,未校驗目的端遷移數據無誤,導致數據丟失所引起的一切損失和后果均由您自行承擔。
遷移流程圖
遷移前準備
申請代理機器(ECS)
單機CPU核數不得低于4核,內存容量不得低于8GB,磁盤可用空間不得低于20GB。
具有基礎帶寬、突發帶寬特性的規格實例,由于其實際帶寬表現可能不穩定。保守起見,按基礎帶寬的1.5倍計算,即: 平均帶寬 = 1.5 × 基礎帶寬。
ECS規格指標中的網絡帶寬是下行+上行帶寬的總和。代理程序運行期間,會同時使用下行和上行的帶寬。所以:單機遷移速度 = 平均帶寬 ÷ 2。
如果計算單臺ECS的遷移速度低于用戶的期望,則可以使用多臺ECS:單個通道ECS數量 = 期望遷移速度 ÷ 單機遷移速度。對于NAS之間的遷移,源地址和目的地址需要各關聯1個通道。
申請ECS時,需要確保源ECS能成功掛載源NAS,目標ECS能成功掛載目標NAS。
手動掛載NAS注意事項
同一個通道下,如果有多個代理實例,則每個代理對應的ECS上掛載的本地目錄必須保持一致。例如,源通道下有兩個代理實例,部署在兩臺ECS上,源NAS在第一臺ECS上掛載的本地目錄為/mnt/src/,那么在第二臺ECS掛載的目錄也必須為/mnt/src,以此類推。
NAS的掛載命令和參數可參考NAS控制臺的使用說明。
在使用NAS的掛載命令和參數進行掛載后,務必確保NAS成功掛載到指定目錄,并確保數據遷移期間掛載的有效性,否則可能導致數據寫入本地磁盤而非NAS。如有掛載相關問題,請咨詢NAS的技術支持。
遷移實施教程
阿里云NAS之間的遷移與本地文件系統(LocalFs)之間的遷移等同,詳細遷移教程可參考LocalFS之間遷移教程。
任務遷移的實際速度受多種因素影響,包含網絡、文件系統本身的性能限制和目錄結構等因素,如網絡鏈路長度和時延、NAS服務端讀寫處理速度、文件是否集中在單個目錄下、源目錄數量及層級深度、平均文件大小等。以上步驟計算得到的ECS數量僅供參考,不保證一定能達到期望的遷移速度。
遷移示例
示例一:源NAS和目的NAS位于相同的地域和VPC
假設用戶的源NAS實例所在地域為cn-beijing,掛載點的VPC網絡為vpc-nas,交換機為vsw-nas,源NAS下共有200TB數據量待遷移,平均每個文件大小約為500KB。目的NAS實例所在地域同樣位于cn-beijing,掛載點的VPC網絡同樣為vpc-nas,交換機同樣為vsw-nas,文件系統數據量為0。用戶期望的遷移速度為2Gbps。
需要按照以下步驟操作:
確定代理機器(ECS)的硬件配置,例如確認單機ECS規格為ecs.c7.xlarge,具有4核CPU和8GB內存,基礎帶寬3Gbps,突發帶寬12.5Gbps。
鑒于突發帶寬的不確定性,為了謹慎起見,我們按照基礎帶寬的1.5倍來計算平均帶寬,即:平均帶寬 = 1.5 × 基礎帶寬 = 4.5Gbps。
需要注意的是,ECS指標中的網絡帶寬是指下行和上行之和。在代理程序運行時,需要從源NAS獲取數據(下行),并將其推送至在線遷移服務后端(上行)。因此,單臺ECS的遷移速度計算公式為:單機遷移速度 = 平均帶寬 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。
計算每個通道所需的ECS數量:單個通道ECS數量 = 期望遷移速度 ÷ 單機遷移速度 = 2Gbps ÷ 2.25Gbps = 0.9 ≈ 1臺。因此,需要為源NAS和目的NAS各申請1臺ECS。
在ECS控制臺上,分別為源NAS和目的NAS各申請1臺ecs.c7.xlarge規格的ECS。地域選擇為北京,VPC網絡和交換機分別選擇vpc-nas和vsw-nas。假設兩臺ECS實例名稱分別為ECS-1和ECS-2。
以管理員身份登錄至ECS-1,并創建/mnt/src/目錄,然后將源NAS掛載至該目錄;隨后以管理員身份登錄至ECS-2,并創建/mnt/dest/目錄,將目的NAS掛載至該目錄。
重要務必確保NAS成功掛載到指定目錄,并確保數據遷移期間掛載的有效性。
在北京控制臺地域,根據LocalFS之間遷移教程進行遷移。
創建1個源通道。創建1個源代理,網絡類型選擇專線/VPN(VPC),并關聯到該源通道。將該代理部署到ECS-1上。
創建1個目的通道。創建1個目的代理,網絡類型選擇專線/VPN(VPC),并關聯到該目的通道。將該代理部署到ECS-2上。
為源NAS創建源地址時,關聯到源通道,并選擇源代理。待遷移目錄參數填寫為/mnt/src/。
為目的NAS創建目的地址時,關聯到目的通道,并選擇目的代理。待遷移目錄參數填寫為/mnt/dest/。
使用地址創建任務。
示例二:源NAS和目的NAS位于同一地域,但屬于不同的VPC
假設用戶的源NAS實例所在地域為cn-beijing,掛載點的VPC網絡為vpc-nas-1,交換機為vsw-nas-1,源NAS下共有200TB數據量待遷移,平均每個文件大小約為500KB。目的NAS實例所在地域同樣位于cn-beijing,掛載點的VPC網絡為vpc-nas-2,交換機為vsw-nas-2,文件系統數據量為0。用戶期望的遷移速度為2Gbps。
需要按照以下步驟操作:
確認代理機器(ECS)的硬件配置,例如確定單臺ECS規格為ecs.c7.xlarge,包括4核CPU和8GB內存,基礎帶寬為3Gbps,突發帶寬為12.5Gbps。
鑒于突發帶寬的不確定性,為了謹慎起見,我們按照基礎帶寬的1.5倍來計算平均帶寬,即:平均帶寬 = 1.5 × 基礎帶寬 = 4.5Gbps。
需要注意的是,ECS指標中的網絡帶寬是指下行和上行之和。在代理程序運行時,需要從源NAS獲取數據(下行),并將其推送至在線遷移服務后端(上行)。因此,單臺ECS的遷移速度計算公式為:單機遷移速度 = 平均帶寬 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。
計算每個通道所需的ECS數量:單個通道ECS數量 = 期望遷移速度 ÷ 單機遷移速度 = 2Gbps ÷ 2.25Gbps = 0.9 ≈ 1臺。因此,需要為源NAS和目的NAS各申請1臺ECS。
在ECS控制臺上,需為源NAS申請1臺ecs.c7.xlarge規格的ECS,地域選擇北京,VPC網絡和交換機分別選擇vpc-nas-1、vsw-nas-1,實例命名為ECS-1。同樣地,需為目的NAS申請1臺ecs.c7.xlarge規格的ECS,地域選擇北京,VPC網絡和交換機分別選擇vpc-nas-2、vsw-nas-2,實例命名為ECS-2。
以管理員身份登錄ECS-1,創建/mnt/src/目錄,并將源NAS掛載到該目錄;然后以管理員身份登錄ECS-2,創建/mnt/dest/目錄,并將目的NAS掛載到該目錄。
重要務必確保NAS成功掛載到指定目錄,并確保數據遷移期間掛載的有效性。
在北京控制臺地域,根據LocalFS之間遷移教程進行遷移。
創建1個源通道。創建1個源代理,網絡類型選擇專線/VPN(VPC),并關聯到該源通道。將該代理部署到ECS-1上。
創建1個目的通道。創建1個目的代理,網絡類型選擇專線/VPN(VPC),并關聯到該目的通道。將該代理部署到ECS-2上。
為源NAS創建源地址時,關聯到源通道,并選擇源代理。待遷移目錄參數填寫為/mnt/src/。
為目的NAS創建目的地址時,關聯到目的通道,并選擇目的代理。待遷移目錄參數填寫為/mnt/dest/。
使用地址創建任務。
示例三:源NAS和目的NAS位于不同的地域和不同的VPC
假設用戶的源NAS實例所在地域為cn-beijing,掛載點的VPC網絡為vpc-nas-1,交換機為vsw-nas-1,源NAS下共有200TB數據量待遷移,平均每個文件大小約為500KB。目的NAS實例所在地域位于cn-hangzhou,掛載點的VPC網絡為vpc-nas-2,交換機為vsw-nas-2,文件系統數據量為0。用戶期望的遷移速度為10Gbps。
需要按照以下步驟操作:
確定代理機器(ECS)的硬件配置,例如確認單機ECS規格為ecs.c7.xlarge,具有4核CPU和8GB內存,基礎帶寬3Gbps,突發帶寬12.5Gbps。
由于突發帶寬的不確定性,保守起見,平均帶寬按基礎帶寬的1.5倍來計算,即:平均帶寬 = 1.5 × 基礎帶寬 = 4.5Gbps。
另外需要注意的是,ECS指標中的網絡帶寬是下行+上行之和。代理程序運行時,需要從源NAS獲取數據(下行),并推送至在線遷移服務后端(上行)。因此單臺ECS遷移速度為:單機遷移速度 = 平均帶寬 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。
計算單個通道所需的ECS數量:單個通道ECS數量 = 期望遷移速度 ÷ 單機遷移速度 = 10Gbps ÷ 2.25Gbps = 4.4 ≈ 5臺。因此,需要為源NAS和目的NAS各申請5臺ECS。
在ECS控制臺上,為源NAS申請5臺ecs.c7.xlarge規格的ECS。地域選擇北京,VPC網絡和交換機分別選擇vpc-nas-1、vsw-nas-1。假設實例名稱分別為ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5。類似地,為目的NAS申請5臺ecs.c7.xlarge規格的ECS。地域選擇杭州,VPC網絡和交換機分別選擇vpc-nas-2、vsw-nas-2。假設實例名稱分別為ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5。
以管理員身份依次登錄到ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5,并創建/mnt/src/目錄,在該目錄下掛載源NAS;隨后以管理員身份分別登錄到ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5,創建/mnt/dest/目錄,并將目的NAS掛載到該目錄下。
重要務必確保NAS成功掛載到指定目錄,并確保數據遷移期間掛載的有效性。
根據LocalFS之間遷移教程進行遷移。控制臺地域可選擇北京或杭州。以北京為例:
創建1個源通道。創建5個源代理,網絡類型選擇專線/VPN(VPC),并關聯到該源通道。將5個代理分別部署到ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5上。
創建1個目的通道。創建5個目的代理,網絡類型選擇公網(公網),并關聯到該目的通道。將5個代理分別部署到ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5上。
為源NAS創建LocalFS地址時,關聯到源通道,并選擇源代理。待遷移目錄參數填寫為/mnt/src/。
為目的NAS創建目的地址時,關聯到目的通道,并選擇目的代理。待遷移目錄參數填寫為/mnt/dest/。
使用地址創建任務。
遷移常見問題
必須要以管理員身份啟動代理進程
源數據地址關聯的代理進程需要具有讀取源NAS待遷移目錄下所有文件和子目錄的權限,否則將導致讀取失敗,從而導致遷移失敗。
目的數據地址關聯的代理進程應具備對目的NAS待遷移目錄下所有文件和子目錄的讀寫權限,否則可能導致讀寫失敗,從而引發遷移失敗的情況。
文件系統的目錄個數(層級)較多,每個(層)目錄所含文件較少,可能會導致掃描速度變慢的問題,例如:在源NAS總文件數均為100萬的情況下,若這些文件分布在50萬個目錄下,其掃描速度將會比分布在1萬個目錄下要慢。
在同一個目錄下平鋪超過20萬個文件的情況下,由于受限于代理機器的操作系統內核和NAS服務的并發性能限制,可能會導致遷移速度較慢。
單個目錄的體量較大或該目錄正在被修改,可能會導致目錄列舉操作出現卡頓或無響應,從而導致遷移任務進度停滯,解決方案見性能說明FAQ。