環境準備

您可以選擇以下任意一種方式訪問OSS-HDFS服務。

• 通過阿里云EMR訪問OSS-HDFS服務，確保已創建EMR-3.44.0及以上版本或EMR-5.10.0及以上版本的集群。滿足版本要求的EMR集群默認集成了JindoSDK。具體操作，請參見創建集群。

• 通過非阿里云EMR訪問OSS-HDFS服務，確保已安裝和部署 4.6.x及以上版本JindoSDK。具體操作，請參見在非EMR集群中部署JindoSDK。

操作步驟

1. 配置環境變量。

   • 如果通過阿里云EMR訪問OSS-HDFS服務，則直接跳過此步驟，執行下一步。

   • 如果通過非阿里云EMR訪問OSS-HDFS服務，則按照以下說明完成配置。

     1. 連接ECS實例。具體操作，請參見連接ECS實例。

     2. 進入已安裝的JindoSDK JAR包下的bin目錄。

        以下以jindosdk-x.x.x-linux為例，如使用其他版本的JindoSDK，請替換為對應的JAR包名稱。

        cd jindosdk-x.x.x-linux/bin/

        說明

        x.x.x表示JindoSDK JAR包版本號。

     3. 授予bin目錄下的jindo-util文件的讀、寫、執行的權限。

        chmod 700 jindo-util

     4. 將jindo-util文件重命名為jindo。

        mv jindo-util jindo

     5. 新建配置文件jindosdk.cfg，然后在配置文件中添加以下配置項。

        [common]保持以下默認配置。
        logger.dir = /tmp/jindo-util/
        logger.sync = false
        logger.consolelogger = false
        logger.level = 0
        logger.verbose = 0
        logger.cleaner.enable = true
        hadoopConf.enable = false
        
        [jindosdk]自定義以下配置項。
        <!-- 以下以杭州地域為例，其他地域請根據實際情況替換。 -->
        fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com
        <!-- 配置訪問OSS-HDFS服務的AccessKeyId、AccessKeySecret。 -->
        fs.oss.accessKeyId = LTAI********    
        fs.oss.accessKeySecret = KZo1********                                       

     6. 設置環境變量。

        export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

        <JINDOSDK_CONF_DIR>填寫jindosdk.cfg 配置文件所在的絕對路徑。

2. 通過Jindo CLI命令訪問OSS-HDFS服務。

• 上傳文件

  將本地根目錄下的examplefile.txt文件上傳至examplebucket。

  ./jindo fs -put examplefile.txt oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/

• 新建目錄

  在examplebucket下創建名為dir/的目錄。

  ./jindo fs -mkdir oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/dir/

• 查看文件或目錄信息

  查看examplebucket下的文件或目錄信息。

  ./jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/

• 獲取文件或目錄大小

  獲取examplebucket下所有文件或目錄的大小。

  ./jindo fs -du oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/

• 查看文件內容

  查看examplebucket下名為localfile.txt的文件內容。

  ./jindo fs -cat oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/localfile.txt

  重要 查看文件內容時，文件內容將以純文本形式顯示。如果文件內容進行了特定格式的編碼，請使用HDFS的Java API讀取并解碼文件內容。

• 下載文件

  將examplebucket下的exampleobject.txt下載到本地根目錄文件夾/tmp。

  ./jindo fs -get oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/

• 刪除目錄或文件

  刪除examplebucket下destfolder/目錄及其目錄下的所有文件。

  ./jindo fs -rm -r oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/destfolder/

相關文檔

Jindo CLI使用指南