日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Spark以EMR集群的方式處理OSS-HDFS服務中的數據

本文介紹Spark如何以EMR集群的方式處理OSS-HDFS服務中的數據。

前提條件

操作步驟

  1. 登錄EMR集群。

    1. 登錄EMR on ECS控制臺

    2. 單擊創建的EMR集群。

    3. 單擊節點管理頁簽,然后單擊節點組左側的+

    4. 單擊ECS ID。在ECS實例頁面,單擊實例ID右側的遠程連接

    如果您希望使用SSH方式(SSH密鑰對或SSH密碼)在WindowsLinux環境中登錄集群,請參見登錄集群

  2. 在終端執行以下命令啟動Spark Shell。

    spark-shell
  3. 使用Spark訪問OSS-HDFS。

    1. 創建表。

      spark.sql("CREATE TABLE test_oss (`c1` string) OPTIONS (PATH 'oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir')")
    2. 往表中插入數據。

      spark.sql("INSERT INTO TABLE test_oss SELECT 'testdata' AS c1")
    3. 查詢表。

      spark.sql("SELECT c1 FROM test_oss")