存儲空間占用情況
OSS-HDFS服務(wù)使用OSS Bucket存儲HDFS數(shù)據(jù)及其輔助數(shù)據(jù),這些數(shù)據(jù)均存儲于Bucket中的.dlsdata/
路徑下,并產(chǎn)生相應(yīng)的OSS存儲容量的計(jì)量和計(jì)費(fèi)。
OSS-HDFS文件數(shù)據(jù)塊block
OSS-HDFS文件的所有數(shù)據(jù)塊block均占用OSS Bucket的存儲空間。OSS-HDFS文件數(shù)據(jù)塊block占用是OSS空間主要占用部分,您可以通過hdfs du命令查看數(shù)據(jù)塊block的空間占用情況。
OSS-HDFS文件checksum數(shù)據(jù)
OSS-HDFS支持HDFS checksum特性,數(shù)據(jù)寫入時(shí)產(chǎn)生額外的checksum數(shù)據(jù)。開源HDFS checksum數(shù)據(jù)會(huì)占用Datanode的磁盤空間,OSS-HDFS文件的checksum數(shù)據(jù)占用OSS的空間。
默認(rèn)情況下,數(shù)據(jù)正常寫入每512字節(jié)生成4字節(jié)的checksum。在小文件或者小數(shù)據(jù)塊寫入的情況下會(huì)存在checksum數(shù)據(jù)放大的情況,屬于正常現(xiàn)象。
checksum數(shù)據(jù)的空間占用情況作為OSS標(biāo)準(zhǔn)存儲容量進(jìn)行統(tǒng)計(jì),不支持通過hdfs du命令進(jìn)行統(tǒng)計(jì)和查看。
OSS-HDFS文件空洞占用
OSS-HDFS在某些場景下支持通過JindoFuse客戶端隨機(jī)覆蓋寫入和修改文件。由于數(shù)據(jù)塊block本身無法修改,系統(tǒng)需要通過delta增量文件的方式寫入或修改文件,通過該方式寫入和修改文件會(huì)額外占用OSS存儲空間。
通過delta增量文件的方式寫入或修改文件的空洞占用情況作為OSS標(biāo)準(zhǔn)存儲容量進(jìn)行統(tǒng)計(jì),不支持通過hdfs du命令進(jìn)行統(tǒng)計(jì)和查看。
OSS-HDFS審計(jì)日志數(shù)據(jù)
OSS-HDFS服務(wù)對文件讀寫請求操作都通過審計(jì)日志進(jìn)行記錄。審計(jì)日志保存在Bucket中,占用OSS部分存儲容量。審計(jì)日志文件作為HDFS文件系統(tǒng)目錄的一部分,存儲在/.sysinfo
路徑下。您可以通過hdfs du命令查看HDFS審計(jì)日志數(shù)據(jù)的空間占用情況。
OSS-HDFS文件清單數(shù)據(jù)
OSS-HDFS服務(wù)支持文件清單導(dǎo)出功能。清單文件保存在Bucket中,占用OSS部分存儲容量。清單文件作為OSS-HDFS文件系統(tǒng)目錄的一部分,存儲在/.sysinfo
路徑下。您可以通過hdfs du命令查看OSS-HDFS文件清單文件的空間占用情況。
OSS-HDFS回收站
OSS-HDFS回收站中的文件未達(dá)到指定保存時(shí)間前,并沒有從HDFS文件系統(tǒng)中徹底刪除,仍然繼續(xù)占用OSS部分存儲容量。您可以通過hdfs du命令查看OSS-HDFS回收站空間占用情況。
OSS-HDFS服務(wù)內(nèi)部使用
OSS-HDFS服務(wù)內(nèi)部使用OSS部分空間暫存臨時(shí)數(shù)據(jù),例如異步任務(wù)信息,該部分占用1 GB以內(nèi)的空間。
OSS-HDFS服務(wù)內(nèi)部使用占用情況作為OSS標(biāo)準(zhǔn)存儲容量進(jìn)行統(tǒng)計(jì),不支持通過hdfs du進(jìn)行統(tǒng)計(jì)和查看。