本文為您介紹如何快速訪問OSS/OSS-HDFS。
前提條件
- 開通OSS服務。
- 創建存儲空間。
- 確認OSS授權。
- EMR集群(新版控制臺)中使用,已默認開通。如遇問題,請參見角色授權。
- EMR集群(舊版控制臺)中使用,已默認開通。如遇問題,請參見角色授權。
- 在非EMR環境的授權方式,請參見OSS/OSS-HDFS授權。
- (可選,推薦開通)開通并授權訪問OSS-HDFS服務。
- 確認JindoSDK部署版本。
- 在EMR集群中,已默認部署JindoSDK。
說明 訪問OSS-HDFS,需創建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。
- 在非EMR集群中,請參見在非EMR集群中部署JindoSDK。
說明 訪問OSS-HDFS,需部署JindoSDK 4.x及以上版本。
- 在EMR集群中,已默認部署JindoSDK。
路徑說明
訪問OSS和訪問OSS-HDFS,僅路徑中的endpoint不同,其他使用方式均相同。兩種方式的路徑示例和描述如下:
存儲系統 | 根路徑示例 | 描述 |
---|---|---|
OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | 在上海區域已創建了名為examplebucket的OSS Bucket,并使用內網Endpoint訪問。
說明 在EMR集群中未掛載公網的節點,默認不支持訪問OSS公網Endpoint,即默認不支持跨區域訪問。
|
OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | 在上海區域已創建了名為examplebucket的OSS-HDFS Bucket。
說明 OSS-HDFS目前僅支持內網訪問,即默認不支持跨區域訪問。
|
訪問方式
支持通過Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制臺四種方式訪問OSS/OSS-HDFS。各訪問方式的示例和描述如下:
訪問方式 | 示例 | 描述 |
---|---|---|
Hadoop Shell命令 | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoSDK中的JindoOssFileSystem是Hadoop FileSystem的一種實現。執行Hadoop Shell命令時通過識別路徑中的endpoint來訪問OSS/OSS-HDFS。更多使用方式,請參見通過Hadoop Shell命令訪問OSS/OSS-HDFS。 |
Jindo CLI命令 | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Jindo CLI命令訪問OSS/OSS-HDFS的方式與Hadoop Shell方式類似。此外,還支持了更多的功能,比如歸檔、緩存、錯誤分析等,具體信息請參見通過Jindo CLI命令訪問OSS/OSS-HDFS。 |
POSIX命令 | mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss | 通過實現FUSE API,JindoFuse可以通過掛載OSS/OSS-HDFS路徑到本地路徑的方式,使您可以像訪問本地文件一樣訪問OSS/OSS-HDFS。 具體信息請參見通過POSIX命令訪問OSS/OSS-HDFS。 |
OSS控制臺 | 您需要登錄OSS控制臺進行操作,具體操作步驟為:
|