注意事項(xiàng)

• 讀取OSS-HDFS歸檔類型數(shù)據(jù)時(shí)，涉及數(shù)據(jù)取回費(fèi)用。因此對(duì)于需要頻繁訪問的數(shù)據(jù)，應(yīng)避免使用低頻、歸檔以及冷歸檔類型。關(guān)于這三種類型數(shù)據(jù)取回費(fèi)用的更多信息，請(qǐng)參見數(shù)據(jù)處理費(fèi)用。

• 為OSS-HDFS服務(wù)的數(shù)據(jù)設(shè)置存儲(chǔ)策略時(shí)，涉及數(shù)據(jù)塊添加標(biāo)簽操作。數(shù)據(jù)塊標(biāo)簽費(fèi)用遵循OSS對(duì)象標(biāo)簽計(jì)費(fèi)規(guī)則。更多信息，請(qǐng)參見對(duì)象標(biāo)簽費(fèi)用。

• 當(dāng)使用的JindoSDK版本低于6.4.0時(shí)，不支持在設(shè)置為低頻、歸檔以及冷歸檔存儲(chǔ)類型的目錄下創(chuàng)建文件。如果您需要在這三種類型的目錄下創(chuàng)建文件，可以在標(biāo)準(zhǔn)類型目錄下創(chuàng)建并關(guān)閉文件后，通過rename操作轉(zhuǎn)移到低頻、歸檔以及冷歸檔目錄。

  如果您希望在低頻、歸檔以及冷歸檔存儲(chǔ)類型的目錄下直接創(chuàng)建文件，您需要升級(jí)JindoSDK至6.4.0及以上版本。

• 數(shù)據(jù)轉(zhuǎn)換為歸檔或者冷歸檔存儲(chǔ)類型時(shí)，系統(tǒng)開銷大，解凍取回慢，請(qǐng)謹(jǐn)慎選擇。

• 支持?jǐn)?shù)據(jù)從歸檔類型轉(zhuǎn)換為冷歸檔存儲(chǔ)類型，不支持?jǐn)?shù)據(jù)從冷歸檔類型轉(zhuǎn)換為歸檔類型。

操作步驟

1. 配置環(huán)境變量。

   1. 連接ECS實(shí)例。具體操作，請(qǐng)參見連接ECS實(shí)例。

   2. 進(jìn)入已安裝的JindoSDK JAR包下的bin目錄。

      以下以jindosdk-x.x.x-linux為例，如使用其他版本的JindoSDK，請(qǐng)?zhí)鎿Q為對(duì)應(yīng)的JAR包名稱。

      cd jindosdk-x.x.x-linux/bin/

      說明

      x.x.x表示JindoSDK JAR包版本號(hào)。

   3. 授予bin目錄下的jindo-util文件的讀、寫、執(zhí)行的權(quán)限。

      chmod 700 jindo-util

   4. 將jindo-util文件重命名為jindo。

      mv jindo-util jindo

   5. 新建配置文件jindosdk.cfg，然后在配置文件中添加以下配置項(xiàng)。

      [common]保持以下默認(rèn)配置。
      logger.dir = /tmp/jindo-util/
      logger.sync = false
      logger.consolelogger = false
      logger.level = 0
      logger.verbose = 0
      logger.cleaner.enable = true
      hadoopConf.enable = false
      
      [jindosdk]自定義以下配置項(xiàng)。
      <!-- 以下以杭州地域?yàn)槔渌赜蛘?qǐng)根據(jù)實(shí)際情況替換。 -->
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com
      <!-- 配置訪問OSS-HDFS服務(wù)的AccessKeyId、AccessKeySecret。 -->
      fs.oss.accessKeyId = LTAI********    
      fs.oss.accessKeySecret = KZo1********                                        

   6. 設(shè)置環(huán)境變量。

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

      <JINDOSDK_CONF_DIR>填寫jindosdk.cfg 配置文件所在的絕對(duì)路徑。

2. 指定為寫入OSS-HDFS服務(wù)的數(shù)據(jù)設(shè)置存儲(chǔ)策略。

   場(chǎng)景	執(zhí)行命令	執(zhí)行結(jié)果
   為寫入OSS-HDFS服務(wù)的數(shù)據(jù)設(shè)置存儲(chǔ)策略為低頻訪問存儲(chǔ)	./jindo fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	dir1/目錄下的文件對(duì)應(yīng)的數(shù)據(jù)塊會(huì)攜帶Key為transition-storage-class、Value為IA的標(biāo)簽信息。
   為寫入OSS-HDFS服務(wù)的數(shù)據(jù)設(shè)置存儲(chǔ)策略為歸檔存儲(chǔ)	./jindo fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	dir2/目錄下的文件對(duì)應(yīng)的數(shù)據(jù)塊會(huì)攜帶Key為transition-storage-class、Value為Archive的標(biāo)簽信息。
   為寫入OSS-HDFS服務(wù)的數(shù)據(jù)設(shè)置存儲(chǔ)策略為冷歸檔存儲(chǔ)	./jindo fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	dir3/目錄下的文件對(duì)應(yīng)的數(shù)據(jù)塊會(huì)攜帶Key為transition-storage-class、Value為ColdArchive的標(biāo)簽信息。

3. 開啟冷熱分層存儲(chǔ)。

   1. 登錄OSS管理控制臺(tái)。

   2. 單擊左側(cè)導(dǎo)航欄的Bucket列表，然后單擊目標(biāo)Bucket。

   3. 在左側(cè)導(dǎo)航欄，選擇數(shù)據(jù)湖管理 > HDFS服務(wù)。

   4. 在HDFS服務(wù)頁簽，單擊設(shè)置冷熱分層。

   5. 在冷熱分層的冷熱分層基礎(chǔ)設(shè)置區(qū)域，打開狀態(tài)開關(guān)。

      

      為避免配置錯(cuò)誤導(dǎo)致冷熱分層無法正常工作，OSS會(huì)自動(dòng)創(chuàng)建同時(shí)包含以下三種策略的生命周期規(guī)則：

      • 指定OSS-HDFS的數(shù)據(jù)存儲(chǔ)目錄.dlsdata/下攜帶Key為transition-storage-class、Value為IA標(biāo)簽的數(shù)據(jù)在1天后轉(zhuǎn)為低頻訪問存儲(chǔ)。

      • 指定OSS-HDFS的數(shù)據(jù)存儲(chǔ)目錄.dlsdata/下攜帶Key為transition-storage-class、Value為Archive標(biāo)簽的數(shù)據(jù)在1天后轉(zhuǎn)為歸檔存儲(chǔ)。

      • 指定OSS-HDFS的數(shù)據(jù)存儲(chǔ)目錄.dlsdata/下攜帶Key為transition-storage-class、Value為ColdArchive標(biāo)簽的數(shù)據(jù)在1天后轉(zhuǎn)為冷歸檔存儲(chǔ)。

      重要

      請(qǐng)勿編輯分層存儲(chǔ)開啟后自動(dòng)創(chuàng)建的包含轉(zhuǎn)換為低頻、歸檔以及冷歸檔類型三種策略的生命周期規(guī)則，否則可能導(dǎo)致OSS-HDFS數(shù)據(jù)及服務(wù)異常。

   6. 單擊確定。

      • OSS-HDFS服務(wù)會(huì)根據(jù)步驟2設(shè)置的存儲(chǔ)策略應(yīng)用生命周期中對(duì)應(yīng)的轉(zhuǎn)儲(chǔ)策略。

      • 生命周期規(guī)則創(chuàng)建后的24小時(shí)內(nèi)，OSS會(huì)加載規(guī)則。規(guī)則加載完成后，OSS會(huì)在每天的北京時(shí)間08:00開始執(zhí)行規(guī)則，具體執(zhí)行時(shí)間取決于文件數(shù)量，最快48小時(shí)內(nèi)轉(zhuǎn)換為指定的存儲(chǔ)類型。

相關(guān)命令

./jindo fs -setStoragePolicy -path <path> -policy <policy>

./jindo fs -getStoragePolicy -path <path>

./jindo fs -unsetStoragePolicy -path <path>

./jindo fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

常見問題

• 如果誤刪除OSS-HDFS服務(wù)冷熱分層對(duì)應(yīng)的生命周期規(guī)則怎么辦？

• OSS-HDFS服務(wù)中是否支持將歸檔或者冷歸檔類型文件轉(zhuǎn)換為標(biāo)準(zhǔn)或者低頻訪問類型？

相關(guān)文檔

• 存儲(chǔ)類型介紹

• 存儲(chǔ)費(fèi)用