使用限制

當ODPS Spark節點選擇Spark3.x版本時，若提交節點報錯，請提交工單聯系技術支持人員升級獨享調度資源組的版本。

準備工作

ODPS Spark節點支持使用Java/Scala和Python語言運行Spark on MaxCompute離線作業，不同語言開發步驟及配置界面存在差異，您可根據業務需要選擇使用。

Java/Scala

在ODPS Spark節點執行Java或Scala語言類型代碼前，您需先在本地開發好Spark on MaxCompute作業代碼，再通過DataWorks上傳為MaxCompute的資源。步驟如下：

1. 準備開發環境。

   根據所使用系統類型，準備運行Spark on MaxCompute任務的開發環境，詳情請參見搭建Linux開發環境、搭建Windows開發環境。

2. 開發Java/Scala代碼。

   在ODPS Spark節點執行Java或Scala語言類型代碼前，需先在本地或已有環境開發好Spark on MaxCompute代碼，建議使用Spark on MaxCompute提供的項目示例工程模板進行開發。

3. 打包代碼并上傳至DataWorks。

   代碼開發完成后，需將其打包，并通過DataWorks上傳為MaxCompute資源，詳情請參見創建并使用MaxCompute資源。

Python（使用默認Python環境實現）

Python（使用自定義Python環境實現）

若平臺提供的默認Python環境無法滿足您的業務需求，則可根據如下步驟自定義Python環境，執行Spark on MaxCompute任務。

1. 本地準備Python環境。

   您可參考PySpark Python版本和依賴支持，根據業務需要配置可用的Python環境。

2. 打包環境并上傳至DataWorks。

   將Python環境壓縮為一個Zip包，并通過DataWorks上傳為MaxCompute資源，作為后續運行Spark on MaxCompute任務的執行環境。詳情請參見創建并使用MaxCompute資源。

配置項說明

DataWorks運行Spark on MaxCompute離線作業采用Cluster模式，在Cluster模式中，您需指定自定義程序入口main。main運行結束（即狀態為Success或Fail）時，對應的Spark作業便會結束。此外，spark-defaults.conf中的配置需逐條加到ODPS Spark節點配置項中。例如，Executor的數量、內存大小和spark.hadoop.odps.runtime.end.point的配置。

編輯代碼：簡單示例

以下以一個簡單示例為您介紹ODPS Spark節點的使用：判斷一個字符串是否可以轉換為數字。

1. 創建資源。

   1. 在數據開發頁面新建Python類型的資源，并命名為spark_is_number.py，詳情請參見創建并使用MaxCompute資源。代碼如下：

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. 保存并提交資源。

2. 在已創建的ODPS Spark節點中，根據配置項說明配置節點參數和調度配置參數，并保存提交節點。

   配置項	說明
   spark版本	Spark2.x
   語言	Python
   選擇主python資源	在下拉列表中選擇上述已創建的python資源spark_is_number.py

3. 進入開發環境的運維中心，執行補數據，具體操作請參見執行補數據并查看補數據實例（新版）。

   說明

   由于數據開發中的ODPS Spark節點沒有運行入口，因此您需要在開發環境的運維中心執行Spark任務。

4. 查看返回結果。

   待補數據實例運行成功后，進入其運行日志的tracking URL中查看運行結果，如下：

   False
   True
   True
   True
   True

編輯代碼：進階示例

更多場景的Spark on MaxCompute任務開發，請參考：

• java/scala示例：Spark-1.x示例

• java/scala示例：Spark-2.x示例

• Python示例：PySpark開發示例

• 場景：Spark訪問VPC實例

• 場景：Spark訪問OSS