EMR集群接入OSS-HDFS服務(wù)快速入門
阿里云開源大數(shù)據(jù)開發(fā)平臺E-MapReduce(簡稱EMR)特定版本(EMR-3.46.2及以上版本或EMR-5.12.2及以上版本)集群默認(rèn)集成OSS-HDFS服務(wù)。本文介紹如何通過EMR集群接入OSS-HDFS服務(wù)并完成常見操作。
如果您使用的是自建Hadoop集群,請通過非EMR集群的方式接入OSS-HDFS服務(wù)。具體操作,請參見非EMR集群接入OSS-HDFS服務(wù)快速入門。
前提條件
已為Bucket開通并授權(quán)訪問OSS-HDFS服務(wù)。具體操作,請參見開通OSS-HDFS服務(wù)。
阿里云賬號默認(rèn)擁有通過EMR集群的方式接入OSS-HDFS服務(wù)并執(zhí)行常見操作的權(quán)限。如果您希望通過RAM用戶接入OSS-HDFS服務(wù),RAM用戶需要具備對應(yīng)的權(quán)限要求,詳情請參見授權(quán)RAM用戶通過EMR集群接入OSS-HDFS服務(wù)。
操作視頻
觀看以下視頻了解如何通過EMR集群快速接入OSS-HDFS服務(wù)并完成常見操作。
操作步驟
登錄EMR on ECS控制臺,創(chuàng)建EMR集群。
創(chuàng)建EMR集群時,確保選擇的產(chǎn)品版本為EMR-3.46.2及以上版本或者EMR-5.12.2及以上版本,集群存儲根路徑選擇已開通OSS-HDFS服務(wù)的Bucket,其他參數(shù)保留默認(rèn)配置。具體步驟,請參見創(chuàng)建集群。
登錄EMR集群。
單擊創(chuàng)建的EMR集群。
單擊節(jié)點管理頁簽,然后單擊節(jié)點組左側(cè)的。
單擊ECS ID。在ECS實例頁面,單擊實例ID右側(cè)的遠(yuǎn)程連接,選擇默認(rèn)方式(通過Workbench遠(yuǎn)程連接)登錄實例。
如果您希望使用SSH方式(SSH密鑰對或SSH密碼)在Windows和Linux環(huán)境中登錄集群,請參見登錄集群。
通過HDFS Shell命令完成OSS-HDFS服務(wù)常見操作。
上傳文件
將本地根目錄下的examplefile.txt文件上傳至examplebucket,示例如下:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
下載文件
將examplebucket下的exampleobject.txt下載到本地根目錄文件夾/tmp,示例如下:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
更多操作,請參見通過Hadoop Shell命令訪問