本文介紹Spark如何以EMR集群的方式處理OSS-HDFS服務中的數據。
前提條件
已創建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具體步驟,請參見創建集群。
已開通并授權訪問OSS-HDFS服務。具體操作,請參見開通并授權訪問OSS-HDFS服務。
操作步驟
登錄EMR集群。
單擊創建的EMR集群。
單擊節點管理頁簽,然后單擊節點組左側的。
單擊ECS ID。在ECS實例頁面,單擊實例ID右側的遠程連接。
如果您希望使用SSH方式(SSH密鑰對或SSH密碼)在Windows和Linux環境中登錄集群,請參見登錄集群。
在終端執行以下命令啟動Spark Shell。
spark-shell
使用Spark訪問OSS-HDFS。
創建表。
spark.sql("CREATE TABLE test_oss (`c1` string) OPTIONS (PATH 'oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir')")
往表中插入數據。
spark.sql("INSERT INTO TABLE test_oss SELECT 'testdata' AS c1")
查詢表。
spark.sql("SELECT c1 FROM test_oss")
文檔內容是否對您有幫助?