本文介紹文件存儲 HDFS 版的一些使用限制及性能指標。
性能指標
指標項 | 說明 |
數據設計持久性 | 99.999999999%(11個9) |
4K平均讀延遲 | 小于1 ms |
4K平均寫延遲 | 小于1 ms |
最大吞吐 | 150 GB/s |
讀+寫最大吞吐密度 | 150 MB/s/TB |
最大IOPS | 1萬 / TB |
文件系統限制
限制項 | 限制說明 |
每個賬號在單個地域內可創建的文件系統數量 | 3個 |
單個文件系統可創建的掛載點數量 | 2個 |
單個文件系統同一時刻可掛載計算節點的數量 | 無限制 |
單個文件系統的最大目錄層級 | 1000層 |
單個文件系統最大文件數量或目錄數量 | 10億 |
單個文件系統最大容量 | 1 PiB |
每個賬號在單個地域內可以創建的權限組數量 | 10個 |
單個權限組最多可以包含權限規則數量 | 100個 |
單個掛載點同一時刻的活躍進程數 | 支持10000個SDK進程運行 |
協議功能限制
不支持符號鏈接(Symbolic Links)。
不支持文件拼接(concat)。
不支持快照(Snapshot)相關操作。
不支持代理令牌(Delegation Token)、checksum(setWriteChecksum、setVerifyChecksum)相關操作。
不支持ACL相關操作。
不支持文件塊位置信息(FileBlockLocations)。
路徑、文件和目錄命名說明
路徑
僅支持以Unicode編碼的字符或字符串。
路徑的元素不能包含0~31的ASCII碼。
文件名和目錄:
不能為空字符串、單個點(.)和兩個點(..)。
不能包含冒號(:)、正斜線(/)和波浪線(~)。
Hadoop fs命令限制
不支持快照(snapshot)相關命令(createSnapshot、deleteSnapshot、renameSnapshot)。
不支持ACL相關命令(setfacl、getfacl)。
更多有關開源Hadoop的信息,請參見Hadoop文檔。
API限制
不支持Web HDFS REST API。