文件存儲CPFS(Cloud Paralleled File System)是一種并行文件系統(tǒng)。CPFS的數(shù)據(jù)存儲在集群中的多個數(shù)據(jù)節(jié)點,并可由多個客戶端同時訪問,從而能夠為大型高性能計算機集群提供高IOPS、高吞吐、低時延的數(shù)據(jù)存儲服務(wù)。
適用場景
文件存儲CPFS針對高性能計算場景的性能要求進行了深度優(yōu)化,提供對數(shù)據(jù)毫秒級的訪問和高聚合IO、高IOPS的數(shù)據(jù)讀寫請求,可以用于AI深度訓(xùn)練、自動駕駛、基因計算、EDA仿真、石油勘探,氣象分析、機器學(xué)習(xí)、大數(shù)據(jù)分析以及影視渲染等業(yè)務(wù)場景中。
性能
容量 | 帶寬 | 標(biāo)準(zhǔn)型(寫IOPS) | 標(biāo)準(zhǔn)型(讀IOPS) | 高級型(寫IOPS) | 高級型(讀IOPS) |
---|---|---|---|---|---|
2 TB | 1 GB/s | 20 k | 40 k | 50 k | 100 k |
5 TB | 1 GB/s | 20 k | 40 k | 50 k | 100 k |
2.5 GB/s | 60 k | 150 k | 100 k | 350 k | |
10 TB | 1.5 GB/s | 40 k | 100 k | 80 k | 200 k |
2.5 GB/s | 60 k | 150 k | 100 k | 350 k | |
30 TB | 2.5 GB/s | 60 k | 150 k | 100 k | 350 k |
5 GB/s | 80 k | 200 k | 140 k | 500 k | |
50 TB | 2.5 GB/s | 60 k | 150 k | 100 k | 350 k |
7.5GB/s | 100 k | 300 k | 200 k | 600 k |
您可以使用FIO工具進行吞吐和IOPS的性能測試,并通過分片配置提高聚合帶寬和IOPS,詳情請參見性能測試和性能調(diào)優(yōu)。
數(shù)據(jù)持久性和服務(wù)可用性
文件存儲CPFS的數(shù)據(jù)持久化存儲于阿里云自研的盤古分布式存儲系統(tǒng),支持多份數(shù)據(jù)拷貝,可以提供99.999999999%(11個9)的數(shù)據(jù)可靠性。
文件存儲CPFS的所有節(jié)點均為高可用設(shè)計。實現(xiàn)集群內(nèi)秒級別的故障檢測,并由CPFS集群調(diào)度器自動將服務(wù)切換到其他節(jié)點,同時兼顧負載均衡。整個切換過程用戶不感知,提供遠高于傳統(tǒng)兩節(jié)點的高可用性。
擴展性和彈性
文件存儲CPFS支持在線擴容。由于所有數(shù)據(jù)均以條帶化的方式存儲并且支持?jǐn)U容以后的自動負載平衡,可滿足性能的線性增長,并且即時利用擴容節(jié)點的吞吐和存儲能力,滿足業(yè)務(wù)增長需要的更多容量與性能訴求。
安全性
文件存儲CPFS支持配置企業(yè)自建的LDAP(Lightweight Directory Access Protocol)服務(wù),來控制CPFS文件系統(tǒng)的用戶訪問。不接入LDAP時,CPFS只允許root用戶訪問文件系統(tǒng),其他用戶訪問時將返回permission denied錯誤。接入LDAP時,您需要提供LDAP服務(wù)器并確保LDAP服務(wù)的連通性。
接口
CPFS API支持HTTP或HTTPS協(xié)議進行請求通信,支持GET方法發(fā)送請求。如果您熟悉網(wǎng)絡(luò)服務(wù)協(xié)議和一種以上編程語言,推薦您調(diào)用API管理您的文件存儲CPFS,對文件系統(tǒng)進行創(chuàng)建、掛載、管理等操作,以及LDAP用戶管理。
如果您更習(xí)慣使用圖形化的Web應(yīng)用程序,可以使用管理控制臺來管理CPFS文件系統(tǒng)。
費用模型
文件存儲CPFS的計費項包括存儲容量和帶寬。開通產(chǎn)品時默認按照實際使用量按小時計費(按量付費),同時也支持購買資源包(包年包月)的方式提前購買資源的使用額度和時長,獲取更多的優(yōu)惠。詳情請參見計量項和計費項。