如果您希望通過命令行的方式在開通OSS-HDFS服務的Bucket中執行上傳、下載、刪除等相關操作,您可以使用Hadoop Shell的方式。
環境準備
您可以選擇以下任意一種方式訪問OSS-HDFS服務。
通過阿里云EMR訪問OSS-HDFS服務,確保已創建EMR-3.46.2及以上版本或EMR-5.12.2及以上版本的集群。滿足版本要求的EMR集群默認集成了OSS-HDFS服務。具體操作,請參見創建集群。
通過非阿里云EMR訪問OSS-HDFS服務,確保已安裝和部署4.6.x及以上版本JindoSDK。具體操作,請參見在非EMR集群中部署JindoSDK。
相關命令及示例
通過Hadoop Shell命令訪問OSS-HDFS服務的相關命令及示例如下。
上傳文件
將本地根目錄下的examplefile.txt文件上傳至examplebucket,示例如下:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
新建目錄
在examplebucket下創建名為dir/的目錄,示例如下:
hdfs dfs -mkdir oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir/
查看文件或目錄信息
查看examplebucket下的文件或目錄信息,示例如下:
hdfs dfs -ls oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
獲取文件或目錄大小
獲取examplebucket下所有文件或目錄的大小,示例如下:
hdfs dfs -du oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
查看文件內容
查看examplebucket下名為localfile.txt的文件內容,示例如下:
hdfs dfs -cat oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/localfile.txt
重要查看文件內容時,文件內容將以純文本形式打印到屏幕上。如果文件內容進行了特定格式的編碼,請使用HDFS的Java API讀取并解碼文件內容。
拷貝目錄或文件
例如,將examplebucket下根目錄subdir1拷貝到目錄subdir2下,且根目錄subdir1所在的位置、根目錄下的文件和子目錄結構和內容保持不變,示例如下:
hdfs dfs -cp oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir1 oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir2/subdir1
移動目錄或文件
例如,將examplebucket根目錄srcdir及其包含的文件或者子目錄移動至另一個根目錄destdir下,示例如下:
hdfs dfs -mv oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/srcdir oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destdir
下載文件
將examplebucket下的exampleobject.txt下載到本地根目錄文件夾/tmp,示例如下:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
刪除目錄或文件
刪除examplebucket下destfolder/目錄及其目錄下的所有文件,示例如下:
hdfs dfs -rm -r oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destfolder/