搭建Spark開發環境前，請確保您已經在Windows操作系統中安裝如下軟件：

• JDK

  本文采用JDK 1.8.0_361，JDK官網下載地址請參見JDK官網。

• Python

  本文采用Python 3.7，Python官網下載地址請參見Python官網。

  說明

  本文采用Spark-2.4.5，如采用其他版本Spark請下載安裝對應版本Python，詳情請參見https://pypi.org/project/pyspark/。

• Maven

  本文采用Apache Maven 3.8.7，Maven官網下載地址請參見Maven官網。

• Git

  本文采用git version 2.39.1.windows.1，Git官網下載地址請參見Git官網。

• Scala

  本文采用Scala 2.13.10，Scala官網下載地址請參見Scala官網。

Spark on MaxCompute發布包集成了MaxCompute認證功能。作為客戶端工具，它通過Spark-Submit方式提交作業到MaxCompute項目中運行。MaxCompute提供了面向Spark1.x、Spark2.x和Spark3.x發布包，下載路徑如下（本文采用Spark-2.4.5）：

• Spark-1.6.3：適用于Spark1.x應用的開發。

• Spark-2.3.0：適用于Spark2.x應用的開發。

• Spark-2.4.5：適用于Spark2.x應用的開發。使用Spark-2.4.5的注意事項請參見Spark 2.4.5使用注意事項。

• Spark-3.1.1：適用于Spark3.x應用的開發。使用Spark-3.1.1的注意事項請參見Spark 3.1.1使用注意事項。

您需要在Windows操作系統中單擊此電腦 > 屬性 > 高級系統設置 > 環境變量配置如下環境變量信息，配置方法及信息如下。

• 配置Java環境變量。

  • 獲取Java安裝路徑。

  • 編輯Java環境變量信息。

    1. 在系統變量中新增JAVA_HOME的變量，變量值輸入Java安裝路徑。

    2. 系統變量Path中增加%JAVA_HOME%\bin。

  • 確認Java已配置成功。

    • 驗證方式

      通過鍵盤快捷鍵Win+R打開運行對話框，輸入cmd，單擊確定。在命令運行界面輸入java -version，若返回的結果符合預期，則Java配置成功。

    • 預期結果示例

      java version "1.8.0_361"
      Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
      Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)

• 配置Spark環境變量。

  • 獲取Spark客戶端包解壓后的路徑。

  • 編輯Spark環境變量信息。

    1. 新增SPARK_HOME系統變量，變量值中輸入Spark客戶端包解壓后的路徑。

    2. 系統變量Path中增加%SPARK_HOME%\bin。

• 配置Scala環境變量。

  確認Scala已配置成功。

  • 驗證方式

    通過鍵盤快捷鍵Win+R打開運行對話框，輸入cmd，單擊確定。在命令運行界面輸入scala，若返回的結果符合預期，則Scala配置成功。

  • 預期結果示例

    Welcome to Scala 2.13.10 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_361).
    Type in expressions for evaluation. Or try :help.
    
    scala>

• 配置Python環境變量。

  • 獲取Python安裝路徑。

  • 編輯Python環境變量信息。

    在系統變量Path中增加Python和子目錄Scripts的安裝路徑。

  • 確認Python已配置成功。

    • 驗證方式

      通過鍵盤快捷鍵Win+R打開運行對話框，輸入cmd，單擊確定。在命令運行界面輸入python --version，若返回的結果符合預期，則Python配置成功。

    • 預期結果示例

      Python 3.10.6

• 配置Maven環境變量。

  • 獲取Maven包解壓后的路徑。

  • 編輯Maven環境變量信息。

    1. 新增MAVEN_HOME系統變量，變量值中輸入Maven包解壓后的路徑。

    2. 系統變量Path中增加%MAVEN_HOME%\bin。

  • 確認Maven已配置成功。

    • 驗證方式

      通過鍵盤快捷鍵Win+R打開運行對話框，輸入cmd，單擊確定。在命令運行界面輸入mvn --version，若返回的結果符合預期，則Maven配置成功。

    • 預期結果示例

      # ***表示Maven包解壓后的部分路徑。
      Apache Maven 3.8.7 (b89d5959fcde851dcb1c8946a785a163f14e1e29)
      Maven home: D:\***\apache-maven-3.8.7-bin\apache-maven-3.8.7
      Java version: 1.8.0_361, vendor: Oracle Corporation, runtime: C:\Program Files\Java\jdk1.8.0_361\jre
      Default locale: zh_CN, platform encoding: GBK
      OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"

• 配置Git環境變量。

  確認Git已配置成功。

  • 驗證方式

    通過鍵盤快捷鍵Win+R打開運行對話框，輸入cmd，單擊確定。在命令運行界面輸入git --version，若返回的結果符合預期，則Git配置成功。

  • 預期結果示例

    git version 2.39.1.windows.1

• 配置spark_defaults.conf

  第一次使用Spark on MaxCompute客戶端時，請在Spark客戶端包的解壓路徑下，將conf文件夾下的spark-defaults.conf.template文件重命名為spark-defaults.conf后再進行相關配置。如果spark-defaults.conf.template和spark-defaults.conf文件都存在，則不需要重命名操作，只需要配置spark-defaults.conf文件即可。代碼示例如下。

  # 直接進入到Spark客戶端包的解壓路徑，并進入conf文件夾。請以實際路徑為準。
  
  # 打開spark-defaults.conf文件配置信息
  
  # 在配置文件末尾添加如下配置信息。
  spark.hadoop.odps.project.name = <MaxCompute_project_name>
  spark.hadoop.odps.access.id = <AccessKey_id>
  spark.hadoop.odps.access.key = <AccessKey_secret>
  spark.hadoop.odps.end.point = <Endpoint>   # Spark客戶端連接訪問MaxCompute項目的Endpoint，您可以根據自己情況進行修改。
  # spark 2.3.0請將spark.sql.catalogImplementation設置為odps，spark 2.4.5請將spark.sql.catalogImplementation設置為hive。
  spark.sql.catalogImplementation={odps|hive}
  
  # 如下參數配置保持不變
  spark.hadoop.odps.task.major.version = cupid_v2
  spark.hadoop.odps.cupid.container.image.enable = true
  spark.hadoop.odps.cupid.container.vm.engine.type = hyper
  spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

  • MaxCompute_project_name：待訪問MaxCompute項目的名稱。

    此處為MaxCompute項目名稱，非工作空間名稱。您可以登錄MaxCompute控制臺，左上角切換地域后，在左側導航欄選擇工作區 > 項目管理，查看具體的MaxCompute項目名稱。

  • AccessKey_id：具備目標MaxCompute項目訪問權限的AccessKey ID。

    您可以進入AccessKey管理頁面獲取AccessKey ID。

  • AccessKey_secret：AccessKey ID對應的AccessKey Secret。

    您可以進入AccessKey管理頁面獲取AccessKey Secret。

  • Endpoint：MaxCompute項目所屬區域的外網Endpoint。

    各地域的外網Endpoint信息，請參見各地域Endpoint對照表（外網連接方式）。

  • VPC_endpoint：MaxCompute項目所屬區域的VPC網絡的Endpoint。

    各地域的VPC網絡Endpoint信息，請參見各地域Endpoint對照表（阿里云VPC網絡連接方式）。

Spark on MaxCompute提供了項目工程模板，建議您下載模板復制后直接在模板里開發。

準備項目工程示例如下：

• 下載Spark-1.x模板并編譯

  #打開已經下載好的git客戶端（Git Bash），進入到需要下載項目工程的目錄，執行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進入到工程文件夾中
  cd MaxCompute-Spark/spark-1.x
  
  #編譯該工程包
  mvn clean package

• 下載Spark-2.x 模板并編譯

  #打開已經下載好的git客戶端（Git Bash），進入到需要下載項目工程的目錄，執行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進入到工程文件夾中
  cd MaxCompute-Spark/spark-2.x
  
  #編譯該工程包
  mvn clean package

• 下載Spark-3.x 模板并編譯

  #打開已經下載好的git客戶端（Git Bash），進入到需要下載項目工程的目錄，執行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進入到工程文件夾中
  cd MaxCompute-Spark/spark-3.x
  
  #編譯該工程包
  mvn clean package