在Linux云電腦掛載CPFS文件系統(tǒng)
您可以通過(guò)NFS協(xié)議服務(wù)將CPFS文件系統(tǒng)掛載至對(duì)應(yīng)辦公網(wǎng)絡(luò)內(nèi)的云電腦上。掛載成功后,您可以在云電腦上把CPFS文件系統(tǒng)當(dāng)作一個(gè)普通的目錄來(lái)訪問(wèn)和使用。本文介紹將CPFS文件系統(tǒng)掛載到云電腦的相關(guān)操作。
背景信息
文件存儲(chǔ)CPFS(Cloud Paralleled File System)是阿里云推出的全托管、可擴(kuò)展并行文件系統(tǒng),滿足AI訓(xùn)練、自動(dòng)駕駛、工業(yè)仿真等高性能計(jì)算場(chǎng)景的需求。詳細(xì)信息,請(qǐng)參見(jiàn)什么是文件存儲(chǔ)CPFS。
CPFS提供NFS協(xié)議服務(wù),通過(guò)CPFS-NFS客戶端在無(wú)影云電腦環(huán)境中進(jìn)行掛載訪問(wèn),可以實(shí)現(xiàn)云電腦對(duì)CPFS文件系統(tǒng)中的數(shù)據(jù)進(jìn)行單機(jī)訓(xùn)練、仿真、調(diào)試和管理。詳細(xì)信息,請(qǐng)參見(jiàn)協(xié)議服務(wù)概述。
支持范圍
僅Linux操作系統(tǒng)的云電腦支持掛載CPFS文件系統(tǒng),Windows操作系統(tǒng)的云電腦不支持掛載CPFS文件系統(tǒng)。
操作系統(tǒng) | 鏡像名稱 |
Linux Ubuntu 18.04 | Linux-Ubuntu-1804 |
Linux-Ubuntu-1804 vGPU | |
Linux Ubuntu 20.04 | Linux-Ubuntu-2004 |
Linux-Ubuntu-2004 vGPU | |
Linux CentOS 7.9 | Linux-CentOS-79 |
Linux-CentOS-79 vGPU |
計(jì)費(fèi)說(shuō)明
當(dāng)您使用CPFS存儲(chǔ)文件時(shí),CPFS會(huì)根據(jù)您存儲(chǔ)的類型、大小、時(shí)長(zhǎng)收取費(fèi)用。如果您的業(yè)務(wù)涉及數(shù)據(jù)流動(dòng)和協(xié)議服務(wù)時(shí),CPFS會(huì)收取帶寬費(fèi)用。有關(guān)CPFS的計(jì)費(fèi)詳情,請(qǐng)參見(jiàn)計(jì)費(fèi)概述。
前提條件
確保已經(jīng)注冊(cè)阿里云賬號(hào)并完成實(shí)名認(rèn)證。具體操作,請(qǐng)參見(jiàn)賬號(hào)注冊(cè)(PC端)、個(gè)人實(shí)名認(rèn)證或企業(yè)實(shí)名認(rèn)證和個(gè)體工商戶認(rèn)證。
確保已有云企業(yè)網(wǎng)實(shí)例。具體操作,請(qǐng)參見(jiàn)創(chuàng)建云企業(yè)網(wǎng)實(shí)例。
確保已有專有網(wǎng)絡(luò)VPC實(shí)例。具體操作,請(qǐng)參見(jiàn)創(chuàng)建和管理專有網(wǎng)絡(luò)。
重要您需要確保云企業(yè)網(wǎng)實(shí)例、云電腦的辦公網(wǎng)絡(luò)、CPFS文件系統(tǒng)和專有網(wǎng)絡(luò)VPC在同一個(gè)地域,且CPFS文件系統(tǒng)和專有網(wǎng)絡(luò)VPC的交換機(jī)在同一個(gè)可用區(qū)。
確保已準(zhǔn)備無(wú)影終端,用于連接和使用云電腦。具體操作,請(qǐng)參見(jiàn)獲取終端。
步驟一:創(chuàng)建CPFS文件系統(tǒng)、協(xié)議服務(wù)和導(dǎo)出目錄
開(kāi)通CPFS服務(wù)。
首次登錄NAS控制臺(tái),您需要根據(jù)頁(yè)面提示開(kāi)通CPFS服務(wù)。
完成云資源訪問(wèn)授權(quán)。
登錄NAS控制臺(tái)。
在左側(cè)導(dǎo)航欄單擊概覽。
在概覽頁(yè)右側(cè)的常用入口區(qū)域,單擊授權(quán)管理。
在授權(quán)管理面板的極速型和CPFS默認(rèn)服務(wù)授權(quán)區(qū)域單擊前往授權(quán),并在彈出的新頁(yè)面上單擊同意授權(quán)。
完成后即可完成AliyunNASMangeENIRole授權(quán)。
創(chuàng)建CPFS文件系統(tǒng)。具體操作,請(qǐng)參見(jiàn)創(chuàng)建CPFS文件系統(tǒng)。
(可選)創(chuàng)建Fileset。具體操作,請(qǐng)參見(jiàn)創(chuàng)建Fileset。
創(chuàng)建Fileset用于導(dǎo)出數(shù)據(jù),創(chuàng)建NFS掛載點(diǎn)。Fileset比普通目錄具備更強(qiáng)的功能,例如文件數(shù)量限制、數(shù)據(jù)流動(dòng)等。
在NAS控制臺(tái)的文件系統(tǒng)列表頁(yè)面,找到已創(chuàng)建的CPFS文件系統(tǒng),單擊該文件系統(tǒng)ID,然后創(chuàng)建協(xié)議服務(wù)和導(dǎo)出目錄配置。
使用NFS協(xié)議訪問(wèn)CPFS文件系統(tǒng),您需要配置協(xié)議服務(wù)生成云電腦用于掛載CPFS文件系統(tǒng)的掛載地址。
創(chuàng)建協(xié)議服務(wù)的具體操作,請(qǐng)參見(jiàn)創(chuàng)建協(xié)議服務(wù)。
創(chuàng)建導(dǎo)出目錄的具體操作,請(qǐng)參見(jiàn)創(chuàng)建導(dǎo)出目錄。
記錄掛載地址。
找到上一步創(chuàng)建的協(xié)議服務(wù)ID,在該協(xié)議服務(wù)的操作列單擊導(dǎo)出目錄。
在該協(xié)議服務(wù)的掛載地址列單擊掛載地址,然后記錄掛載地址。
步驟二:開(kāi)通并部署云電腦
創(chuàng)建辦公網(wǎng)絡(luò)。
按照賬號(hào)系統(tǒng)類型,辦公網(wǎng)絡(luò)可以分為便捷辦公網(wǎng)絡(luò)和AD辦公網(wǎng)絡(luò)。本文以創(chuàng)建便捷辦公網(wǎng)絡(luò)為例。詳細(xì)信息,請(qǐng)參見(jiàn)創(chuàng)建和管理基于便捷賬號(hào)的辦公網(wǎng)絡(luò)或創(chuàng)建并配置AD辦公網(wǎng)絡(luò)。
重要您需要保證辦公網(wǎng)絡(luò)的IPv4網(wǎng)段是CPFS文件系統(tǒng)所綁定的VPC網(wǎng)段中未使用網(wǎng)段的子集。
例如:創(chuàng)建CPFS文件系統(tǒng)所綁定的VPC網(wǎng)段為10.0.0.0/8,那么設(shè)置IPv4網(wǎng)段時(shí)應(yīng)該選擇10網(wǎng)段的子集,例如設(shè)置為10.0.1.0/24。
創(chuàng)建用戶。具體操作,請(qǐng)參見(jiàn)創(chuàng)建便捷用戶。
創(chuàng)建云電腦。具體操作,請(qǐng)參見(jiàn)創(chuàng)建云電腦。
連接云電腦。具體操作,請(qǐng)參見(jiàn)快速入門。
步驟三:掛載CPFS-NFS客戶端
在不同的Linux操作系統(tǒng)類型中安裝CPFS-NFS客戶端的方式有所差異。詳細(xì)信息,請(qǐng)參見(jiàn)CPFS-NFS客戶端掛載文件系統(tǒng)(推薦)。本文以Linux Ubuntu操作系統(tǒng)為例,介紹如何下載、安裝和掛載CPFS-NFS客戶端。
執(zhí)行以下命令,下載CPFS-NFS客戶端。
sudo wget https://cpfs-hangzhou-nfs-client.oss-cn-hangzhou.aliyuncs.com/aliyun-alinas-utils-latest.deb -O /tmp/aliyun-alinas-utils-latest.deb
依次執(zhí)行以下命令,安裝CPFS-NFS客戶端。
sudo apt update
sudo apt-get install /tmp/aliyun-alinas-utils-latest.deb
執(zhí)行以下命令,檢查CPFS-NFS客戶端安裝結(jié)果。
which mount.cpfs-nfs
如果回顯結(jié)果中包含如下類似信息,說(shuō)明CPFS-NFS客戶端安裝成功。
/usr/sbin/mount.cpfs-nfs
執(zhí)行以下命令,掛載CPFS文件系統(tǒng)。
sudo mount -t cpfs-nfs -o vers=3,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport file-system-id.region.cpfs.aliyuncs.com:/share/path /mnt
掛載命令中的參數(shù)說(shuō)明如下表所示。
參數(shù)
描述
file-system-id.region.cpfs.aliyuncs.com:/share/path /mnt
表示<掛載地址>:<CPFS文件系統(tǒng)目錄> <當(dāng)前服務(wù)器上待掛載的本地路徑>,請(qǐng)根據(jù)實(shí)際情況替換。
掛載地址:導(dǎo)出目錄的掛載地址。您可以在文件存儲(chǔ)NAS控制臺(tái)文件系統(tǒng)列表頁(yè)面,單擊目標(biāo)文件系統(tǒng)后的管理,進(jìn)入協(xié)議服務(wù)頁(yè)面,在操作列,單擊導(dǎo)出目錄,進(jìn)入導(dǎo)出目錄面板獲取掛載地址。
CPFS文件系統(tǒng)目錄:CPFS的根目錄(/share)或任意子目錄(例如:/share/path),如果是子目錄,請(qǐng)您確保子目錄是CPFS文件系統(tǒng)中實(shí)際已存在的目錄。
說(shuō)明CPFS的共享目錄必須以/share開(kāi)頭,例如:/share、/share/subdir。
當(dāng)前服務(wù)器上待掛載的本地路徑:Linux ECS實(shí)例的根目錄(/)或任意子目錄(例如:/mnt),如果是子目錄,請(qǐng)您確保子目錄已存在。
vers
文件系統(tǒng)版本。CPFS僅支持NFSv3協(xié)議掛載文件系統(tǒng)。
掛載選項(xiàng)
掛載文件系統(tǒng)時(shí),可選擇多種掛載選項(xiàng),掛載選項(xiàng)使用半角逗號(hào)(,)分隔,說(shuō)明如下:
rsize:定義數(shù)據(jù)塊的大小,用于客戶端與文件系統(tǒng)之間讀取數(shù)據(jù)。建議值:1048576。
wsize:定義數(shù)據(jù)塊的大小,用于客戶端與文件系統(tǒng)之間寫入數(shù)據(jù)。建議值:1048576。
說(shuō)明如果您需要更改IO大小參數(shù)(rsize和wsize),建議您盡可能使用最大值(1048576),以避免性能下降。
hard:在文件存儲(chǔ)CPFS暫時(shí)不可用的情況下,使用文件系統(tǒng)上某個(gè)文件的本地應(yīng)用程序時(shí)會(huì)停止并等待至該文件系統(tǒng)恢復(fù)在線狀態(tài)。建議啟用該參數(shù)。
timeo:指定時(shí)長(zhǎng),單位為0.1秒,即CPFS-NFS客戶端在重試向文件系統(tǒng)發(fā)送請(qǐng)求之前等待響應(yīng)的時(shí)間。建議值:600(60秒)。
說(shuō)明如果您必須更改超時(shí)參數(shù)(timeo),建議您使用150或更大的值。該timeo參數(shù)的單位為0.1秒,因此150表示的時(shí)間為15秒。
retrans:CPFS-NFS客戶端重試請(qǐng)求的次數(shù)。建議值:2。
noresvport:在網(wǎng)絡(luò)重連時(shí)使用新的TCP端口,保障在網(wǎng)絡(luò)發(fā)生故障恢復(fù)時(shí)不會(huì)中斷連接。建議啟用該參數(shù)。
重要不建議使用soft選項(xiàng),有數(shù)據(jù)一致性風(fēng)險(xiǎn)。如果您要使用soft選項(xiàng),相關(guān)風(fēng)險(xiǎn)需由您自行承擔(dān)。
避免設(shè)置不同于默認(rèn)值的任何其他掛載選項(xiàng)。如果更改讀或?qū)懢彌_區(qū)大小或禁用屬性緩存,可能會(huì)導(dǎo)致性能下降。
執(zhí)行
mount -l
命令,查看掛載結(jié)果。掛載成功后,您可以執(zhí)行
df -h
命令,查看當(dāng)前文件系統(tǒng)的容量信息。(可選)配置開(kāi)機(jī)時(shí)自動(dòng)掛載。
為避免已掛載CPFS文件系統(tǒng)的云電腦重啟后掛載信息丟失,您可以通過(guò)在Linux云電腦中配置
/etc/fstab
文件,以實(shí)現(xiàn)重啟云電腦時(shí)自動(dòng)掛載CPFS文件系統(tǒng)。打開(kāi)
/etc/fstab
配置文件,添加掛載配置。file-system-id.region.cpfs.aliyuncs.com:/share/path /mnt cpfs-nfs vers=3,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport 0 0
參數(shù)
說(shuō)明
file-system-id.region.cpfs.aliyuncs.com:/share/path /mnt
表示<掛載地址>:<CPFS文件系統(tǒng)目錄> <當(dāng)前服務(wù)器上待掛載的本地路徑>,請(qǐng)根據(jù)實(shí)際情況替換。將
file-system-id.region.cpfs.aliyuncs.com:/share/path
替換為步驟一中復(fù)制的掛載地址。將/mnt
替換為當(dāng)前服務(wù)器上待掛載的本地路徑。關(guān)于命令的詳細(xì)說(shuō)明如下:
掛載地址:您可以在文件存儲(chǔ)NAS控制臺(tái)文件系統(tǒng)列表頁(yè)面,單擊目標(biāo)文件系統(tǒng)后的管理,進(jìn)入協(xié)議服務(wù)頁(yè)面,在操作列單擊導(dǎo)出目錄,進(jìn)入導(dǎo)出目錄面板獲取掛載地址。
CPFS文件系統(tǒng)目錄:CPFS的根目錄(
/share
)或任意子目錄(例如:/share/path
),如果是子目錄,請(qǐng)您確保子目錄是CPFS文件系統(tǒng)中實(shí)際已存在的目錄。當(dāng)前服務(wù)器上待掛載的本地路徑:Linux云電腦實(shí)例的根目錄(
/
)或任意子目錄(例如:/mnt
),如果是子目錄,請(qǐng)確保子目錄已存在。
vers
文件系統(tǒng)版本。CPFS僅支持NFSv3協(xié)議掛載文件系統(tǒng)。
掛載選項(xiàng)
掛載文件系統(tǒng)時(shí),可選擇多種掛載選項(xiàng),掛載選項(xiàng)使用半角逗號(hào)(,)分隔,說(shuō)明如下:
rsize
:定義數(shù)據(jù)塊的大小,用于客戶端與文件系統(tǒng)之間讀取數(shù)據(jù)。建議值:1048576。wsize
:定義數(shù)據(jù)塊的大小,用于客戶端與文件系統(tǒng)之間寫入數(shù)據(jù)。建議值:1048576。hard
:在文件存儲(chǔ)CPFS暫時(shí)不可用的情況下,使用文件系統(tǒng)上某個(gè)文件的本地應(yīng)用程序時(shí)會(huì)停止并等待至該文件系統(tǒng)恢復(fù)在線狀態(tài)。建議啟用該參數(shù)。timeo
:指定時(shí)長(zhǎng),單位為0.1秒,即CPFS-NFS客戶端在重試向文件系統(tǒng)發(fā)送請(qǐng)求之前等待響應(yīng)的時(shí)間。建議值:600(60秒)。retrans
:CPFS-NFS客戶端重試請(qǐng)求的次數(shù)。建議值:2。noresvport
:在網(wǎng)絡(luò)重連時(shí)使用新的TCP端口,保障在網(wǎng)絡(luò)發(fā)生故障恢復(fù)時(shí)不會(huì)中斷連接。建議啟用該參數(shù)。重要不建議使用
soft
選項(xiàng),有數(shù)據(jù)一致性風(fēng)險(xiǎn)。如果您要使用soft
選項(xiàng),相關(guān)風(fēng)險(xiǎn)需由您自行承擔(dān)。避免設(shè)置不同于默認(rèn)值的任何其他掛載選項(xiàng)。如果更改讀或?qū)懢彌_區(qū)大小或禁用屬性緩存,可能會(huì)導(dǎo)致性能下降。
_netdev
:防止客戶端在網(wǎng)絡(luò)就緒之前開(kāi)始掛載文件系統(tǒng)。0(
noresvport
后第一項(xiàng)):非零值表示文件系統(tǒng)應(yīng)由dump備份。對(duì)于CPFS NFS文件系統(tǒng)而言,此值默認(rèn)為0。0(
noresvport
后第二項(xiàng)):該值表示fsck在啟動(dòng)時(shí)檢查文件系統(tǒng)的順序。對(duì)于CPFS NFS文件系統(tǒng)而言,此值默認(rèn)為0,表示fsck不應(yīng)在啟動(dòng)時(shí)運(yùn)行。
在管理控制臺(tái)或者無(wú)影終端重啟云電腦。
說(shuō)明在重啟云電腦前,請(qǐng)確認(rèn)添加掛載配置和掛載路徑正確,確保手動(dòng)掛載成功,避免云電腦重啟后CPFS文件系統(tǒng)掛載失效。
如果自動(dòng)掛載配置成功,在云電腦重啟后,可以通過(guò)
df -h
命令查看已掛載的CPFS NFS文件系統(tǒng)容量。
步驟四:驗(yàn)證掛載結(jié)果
將CPFS文件系統(tǒng)成功掛載到云電腦后,您可以在云電腦中把CPFS文件系統(tǒng)當(dāng)作一個(gè)普通的目錄來(lái)訪問(wèn)和使用。
本文以云電腦上掛載的本地路徑為/mnt3
為例,在CPFS文件系統(tǒng)中創(chuàng)建文件以驗(yàn)證CPFS文件系統(tǒng)已成功掛載至云電腦。
常見(jiàn)問(wèn)題
掛載CPFS文件系統(tǒng)的過(guò)程中提示錯(cuò)誤,怎么辦?
如果在云電腦上掛載CPFS文件系統(tǒng)時(shí),界面提示無(wú)法掛載或掛載失敗等類似錯(cuò)誤,此時(shí)可以按照以下步驟檢查您的云電腦和CPFS之間的網(wǎng)絡(luò)是否互通:
執(zhí)行以下命令,查詢DNS的IP地址。
示例命令中的掛載點(diǎn)域名以
cpfs-009e40ab9c6476e6-001a3e8bf745b****.cn-hangzhou.cpfs.aliyuncs.com
為例,業(yè)務(wù)中請(qǐng)?zhí)鎿Q為實(shí)際的掛載點(diǎn)域名。dig -t txt cpfs-009e40ab9c6476e6-001a3e8bf745b****.cn-hangzhou.cpfs.aliyuncs.com
執(zhí)行
ping
命令,ping上一步的IP地址以檢查網(wǎng)絡(luò)是否互通。如果網(wǎng)絡(luò)不互通,您需要檢查網(wǎng)絡(luò)的相關(guān)配置。