創(chuàng)建以CPFS為共享存儲(chǔ)的E-HPC集群
以CPFS為共享存儲(chǔ)的E-HPC集群適合動(dòng)畫渲染、生命科學(xué)、氣象預(yù)報(bào)、能源勘探等需要超高吞吐的應(yīng)用場景。本文介紹如何創(chuàng)建以CPFS為共享存儲(chǔ)的高性能計(jì)算集群，為您提供一個(gè)高IOPS、高吞吐、低時(shí)延的計(jì)算集群。
背景信息
CPFS（Cloud Paralleled File System）是一種高性能并行文件存儲(chǔ)系統(tǒng)，專為AI訓(xùn)練和E-HPC等高性能計(jì)算場景打造，最大支持?jǐn)?shù)十GB/s吞吐能力。CPFS的數(shù)據(jù)存儲(chǔ)在集群中的多個(gè)數(shù)據(jù)節(jié)點(diǎn)，并可由多個(gè)客戶端同時(shí)訪問，從而能夠?yàn)榇笮虴-HPC提供高IOPS、高吞吐、低時(shí)延的數(shù)據(jù)存儲(chǔ)服務(wù)。更多信息，請參見什么是文件存儲(chǔ)CPFS。
CPFS支持按量付費(fèi)和資源包兩種付費(fèi)方式，具體請參見計(jì)費(fèi)概述。
CPFS支持CPFS-NFS和CPFS-POSIX兩種掛載方式。
（推薦）CPFS-NFS
CPFS支持NFSv3協(xié)議訪問，利用NFS協(xié)議，可以獲得更加優(yōu)秀的操作系統(tǒng)兼容性和計(jì)算端彈性，并仍能享受CPFS強(qiáng)大的吞吐能力。更多信息，請參見快速入門（CPFS-NFS）（推薦）。
CPFS-POSIX
CPFS支持POSIX協(xié)議訪問。POSIX客戶端可同時(shí)連接多個(gè)存儲(chǔ)節(jié)點(diǎn)，對上層應(yīng)用提供標(biāo)準(zhǔn)POSIX和MPI-IO接口，可以提供更優(yōu)的性能和應(yīng)用接口兼容性。更多信息，請參見快速入門（CPFS-POSIX）。
更多關(guān)于兩種方式的差異請參見掛載訪問概述。
使用限制
掛載方式 | 使用限制 |
CPFS-NFS | CPFS-NFS客戶端僅支持CentOS 7.X、CentOS 8.X、Ubuntu、Alibaba Cloud Linux 2和Alibaba Cloud Linux 3操作系統(tǒng)。 |
CPFS-POSIX |
|
操作步驟
請根據(jù)業(yè)務(wù)需求選擇合適的方式掛載CPFS文件系統(tǒng)。
CPFS-NFS
步驟一：準(zhǔn)備資源
開通CPFS服務(wù)，創(chuàng)建CPFS文件系統(tǒng)、協(xié)議服務(wù)和導(dǎo)出目錄。
步驟二：創(chuàng)建集群并掛載CPFS
創(chuàng)建掛載CPFS文件系統(tǒng)的E-HPC集群。
關(guān)于如何創(chuàng)建E-HPC集群。請參見使用向?qū)?chuàng)建集群。
創(chuàng)建時(shí)，需要注意的參數(shù)如下：
共享存儲(chǔ)
文件系統(tǒng)類型：選擇CPFS-NFS。
文件系統(tǒng)ID和掛載點(diǎn)：選擇創(chuàng)建好的CPFS文件系統(tǒng)和掛載點(diǎn)。
鏡像：
鏡像類型：選擇公共鏡像。
鏡像：選擇CPFS-NFS客戶端支持的操作系統(tǒng)鏡像。
等待集群創(chuàng)建完成后登錄集群，確認(rèn)集群是否已掛載CPFS文件系統(tǒng)。
登錄E-HPC集群。具體操作，請參見登錄集群。
執(zhí)行
df -h檢查集群是否已掛載CPFS文件系統(tǒng)。返回如下信息時(shí)，說明集群已掛載CPFS文件系統(tǒng)。
CPFS-POSIX
步驟一：準(zhǔn)備資源
開通CPFS服務(wù)，創(chuàng)建CPFS文件系統(tǒng)，并添加掛載點(diǎn)。
創(chuàng)建一臺(tái)ECS實(shí)例。具體操作，請參見自定義購買實(shí)例。
該ECS實(shí)例用于制作已部署CPFS-POSIX客戶端環(huán)境的自定義鏡像，以便后續(xù)可以使用自定義鏡像來創(chuàng)建集群節(jié)點(diǎn)，實(shí)現(xiàn)自動(dòng)掛載CPFS。
說明自定義鏡像制作完成后，您可以釋放該ECS實(shí)例。
創(chuàng)建ECS實(shí)例時(shí)，需要注意的配置參數(shù)如下：
實(shí)例規(guī)格：選擇至少包含2 vCPU、4 GiB內(nèi)存的實(shí)例規(guī)格，確保CPFS-POSIX客戶端能夠正常運(yùn)行。
鏡像：選擇CPFS-POSIX客戶端支持的CentOS 7.2、7.3、7.4或7.6操作系統(tǒng)。
網(wǎng)絡(luò)：必須與CPFS文件系統(tǒng)的專有網(wǎng)絡(luò)和交換機(jī)保持一致。
公網(wǎng)IP：分配公網(wǎng)IPv4地址。
安全組：必須與CPFS文件系統(tǒng)的安全組保持一致。
步驟二：創(chuàng)建自定義鏡像
登錄要制作鏡像的ECS實(shí)例。具體操作，請參見通過密碼或密鑰認(rèn)證登錄Linux實(shí)例。
在要制作鏡像的ECS實(shí)例中。安裝客戶端和依賴包。
下載并解壓RPM（Red Hat Package Manager）包。
mkdir /tmp/rpms cd /tmp/rpms wget https://gpfs-rpms.oss-cn-beijing.aliyuncs.com/CPFS2.2-CentOS.tar.gz tar xvfz CPFS2.2-CentOS.tar.gz安裝CPFS-POSIX客戶端的依賴軟件。
yum install -y cpp gcc gcc-c++ binutils ksh elfutils elfutils-devel rpm-build如果ECS實(shí)例為CentOS 7.2、7.3、7.4操作系統(tǒng)，需安裝對應(yīng)系統(tǒng)版本的kernel-devel。
執(zhí)行
uname -r查看kernel版本。返回示例如下：
在CentOS官網(wǎng)下載kernel版本對應(yīng)kernel-devel的rpm包。
命令示例如下，實(shí)際操作時(shí)請按版本替換命令。
wget https://buildlogs.centos.org/c7.1611.u/kernel/20170704132018/3.10.0-514.26.2.el7.x86_64/kernel-devel-3.10.0-514.26.2.el7.x86_64.rpm安裝kernel-devel。
yum install kernel-devel-3.10.0-514.26.2.el7.x86_64.rpm -y
執(zhí)行以下命令，安裝CPFS-POSIX客戶端。
cd /tmp/rpms/CentOS/CentOS7 yum install -y gpfs.adv-*.x86_64.rpm gpfs.base-*.x86_64.rpm gpfs.docs-*.noarch.rpm gpfs.gpl-*.noarch.rpm gpfs.gskit-*.x86_64.rpm gpfs.gss.pmsensors-*.x86_64.rpm gpfs.license.dm-*.x86_64.rpm gpfs.msg.en_US-*.noarch.rpm
執(zhí)行以下命令，構(gòu)建系統(tǒng)。
/usr/lpp/mmfs/bin/mmbuildgpl當(dāng)返回如下信息時(shí)，說明系統(tǒng)已構(gòu)建。若無返回信息，請?jiān)俅螆?zhí)行該命令。
登錄CPFS管理節(jié)點(diǎn)，獲取/etc/hosts文件中的相關(guān)內(nèi)容。
登錄CPFS管理節(jié)點(diǎn)。
在NAS控制臺(tái)的文件系統(tǒng)列表頁面，單擊目標(biāo)CPFS文件系統(tǒng)ID進(jìn)入CPFS文件系統(tǒng)詳情頁面，然后單擊POSIX掛載使用，即可查看CPFS-POSIX客戶端管理節(jié)點(diǎn)。默認(rèn)情況下，第一臺(tái)ECS實(shí)例的名稱格式為
<CPFS文件系統(tǒng)ID>-000001-qr-001，例如cpfs-027cc4bb7902****-000001-qr-001，該實(shí)例即為CPFS管理節(jié)點(diǎn)。
獲取
/etc/hosts文件中的相關(guān)內(nèi)容。cat /etc/hosts返回示例如下，拷貝前5行內(nèi)容即可。
在要制作鏡像的ECS實(shí)例中執(zhí)行以下命令，將從CPFS管理節(jié)點(diǎn)獲取的內(nèi)容添加到ECS實(shí)例的/etc/hosts文件中。
vim /etc/hosts內(nèi)容示例如下：
在CPFS管理節(jié)點(diǎn)，獲取CPFS-POSIX客戶端節(jié)點(diǎn)的免密鑰登錄文件。
修改CPFS管理節(jié)點(diǎn)的
/etc/ssh/ssh_config文件中的配置。vim /etc/ssh/ssh_config將
StrictHostKeyChecking設(shè)置為no，示例如下：
執(zhí)行以下命令，將公鑰信息拷貝至要制作鏡像的ECS實(shí)例。
命令中
192.168.XX.XX為要制作鏡像的ECS實(shí)例的私網(wǎng)IP，請按實(shí)際替換。ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.XX.XX
檢查要制作鏡像的ECS實(shí)例的環(huán)境是否可以正常掛載CPFS。
登錄CPFS管理節(jié)點(diǎn)，在
/etc/hosts中加入ECS實(shí)例的IP和HostName。vim /etc/hosts示例如下：
在CPFS管理節(jié)點(diǎn)執(zhí)行以下命令，掛載CPFS文件系統(tǒng)。
以下命令中的
192.168.XX.XX為ECS實(shí)例的私網(wǎng)IP，請按實(shí)際替換。mmaddnode -N 192.168.XX.XX mmchlicense client --accept -N 192.168.XX.XX mmchnode -N 192.168.XX.XX --perfmon mmstartup -N 192.168.XX.XX mmmount all -N 192.168.XX.XX登錄ECS實(shí)例，執(zhí)行
df -h檢查ECS實(shí)例是否已掛載CPFS文件系統(tǒng)。返回如下信息時(shí)，說明ECS實(shí)例已掛載CPFS，表示該ECS實(shí)例環(huán)境可以用于制作自定義鏡像。
卸載CPFS文件系統(tǒng)，以便后續(xù)制作自定義鏡像。
登錄CPFS管理節(jié)點(diǎn)，執(zhí)行以下命令卸載CPFS文件系統(tǒng)。
以下命令中的
192.168.XX.XX為ECS實(shí)例的私網(wǎng)IP，請按實(shí)際替換。mmshutdown -N 192.168.XX.XX mmdelnode -N 192.168.XX.XX在CPFS管理節(jié)點(diǎn)，刪除在
/etc/hosts中添加的ECS實(shí)例的IP和HostName。登錄ECS實(shí)例，執(zhí)行
df -h確認(rèn)ECS實(shí)例已卸載CPFS文件系統(tǒng)。
使用ECS實(shí)例創(chuàng)建自定義鏡像。具體操作，請參見使用實(shí)例創(chuàng)建自定義鏡像。
步驟三：創(chuàng)建集群并掛載CPFS
創(chuàng)建掛載CPFS文件系統(tǒng)的E-HPC集群。
關(guān)于如何創(chuàng)建E-HPC集群。請參見使用向?qū)?chuàng)建集群。
創(chuàng)建時(shí)，需要注意的參數(shù)如下：
共享存儲(chǔ)
文件系統(tǒng)類型：選擇CPFS-POSIX。
文件系統(tǒng)ID和掛載點(diǎn)：選擇創(chuàng)建好的CPFS文件系統(tǒng)和掛載點(diǎn)。
鏡像：
鏡像類型：選擇自定義鏡像。
鏡像：選擇上一步創(chuàng)建的自定義鏡像。
等待集群創(chuàng)建完成后登錄集群，確認(rèn)集群是否已掛載CPFS文件系統(tǒng)。
登錄E-HPC集群。具體操作，請參見登錄集群。
執(zhí)行
df -h檢查集群是否已掛載CPFS文件系統(tǒng)。返回如下信息時(shí)，說明集群已掛載CPFS文件系統(tǒng)。
