如何自檢項目工程？

在DataWorks上運行ODPS Spark節點的步驟是什么？

1. 在本地Python環境中編輯Spark代碼并打包。本地Python環境版本要求為Python 2.7。

2. 上傳資源包至DataWorks。詳情請參見創建并使用MaxCompute資源。

3. 在DataWorks上創建ODPS Spark節點。詳情請參見創建ODPS Spark節點。

4. 編寫代碼并運行節點，在DataWorks控制臺上即可查看運行結果。

Spark on MaxCompute如何在本地進行調試？

您可以通過IntelliJ IDEA在本地進行調試。詳情請參見搭建Linux開發環境。

如何通過Spark訪問VPC環境內的服務？

更多通過Spark訪問VPC環境內的服務信息，請參見Spark訪問VPC實例。

如何把JAR包當成資源來引用？

spark.hadoop.odps.cupid.resources = projectname.xx0.jar,projectname.xx1.jar 

如何通過Spark傳入參數？

傳參詳情請參見Spark on DataWorks。

如何將Spark流式讀取的DataHub數據寫入MaxCompute？

示例代碼請參見DataHub。

如何將開源Spark代碼遷移至Spark on MaxCompute？

如何通過Spark處理MaxCompute中的表數據？

Spark on MaxCompute支持Local、Cluster和DataWorks運行模式。三種模式的配置不同，詳情請參見運行模式。

如何設置Spark資源并行度？

如何解決內存不足問題？

• 常見報錯：

  • java.lang.OutOfMemoryError: Java heap space。

  • java.lang.OutOfMemoryError: GC overhead limit exceeded。

  • Cannot allocate memory。

  • The job has been killed by "OOM Killer", please check your job's memory usage。

• 解決方案：

  • 設置Executor內存。

    • 參數：spark.executor.memory。

    • 參數說明：代表每個Executor的內存。通常與spark.executor.cores保持1:4設置即可，例如設置spark.executor.cores為1，spark.executor.memory為4 GB。當Executor拋出java.lang.OutOfMemoryError異常時，需要調大該值。

  • 設置Executor堆外內存。

    • 參數：spark.executor.memoryOverhead。

    • 參數說明：代表每個Executor的額外內存，主要用于JVM自身、字符串、NIO Buffer等開銷。默認大小為spark.executor.memory * 0.1，最小384 MB。通常不需要額外設置，當Executor日志出現Cannot allocate memory或OOM Killer報錯時，需要調大該值。

  • 設置Driver內存。

    • 參數：spark.driver.memory。

    • 參數說明：代表Driver的內存大小。通常與spark.driver.cores保持1:4設置即可。當Driver需要Collect較大數據量，或拋出java.lang.OutOfMemoryError異常時，需要調大該值。

  • 設置Driver堆外內存。

    • 參數：spark.driver.memoryOverhead。

    • 參數說明：代表Driver的額外內存。默認為大小spark.driver.memory * 0.1，最小384 MB。當Driver日志出現Cannot allocate memory報錯，需要調大該值。

如何解決磁盤不足問題？

• 問題現象

  出現報錯：No space left on device。

• 問題原因：該錯誤意味著本地磁盤不足，通常該報錯會在Executor中出現，并導致Executor退出。

• 解決方案：

  • 增加磁盤大小

    • 參數：spark.hadoop.odps.cupid.disk.driver.device_size。

    • 默認值：20 GB。

    • 參數說明：默認Driver和Executor各提供20GB的本地磁盤，當磁盤空間不足時可以適當調大該參數。注意該參數必須要配置在spark-defaults.conf或DataWorks的配置項中才會生效。

  • 增加Executor數量

    如果您調整本地磁盤大小到100GB以后，仍然報該錯誤，說明單個Executor Shuffle數據已經超過上限，可能是遇到了數據傾斜，這種情況下對數據重分區會有幫助。也可能確實是數據量太大，那就需要調整spark.executor.instances參數，增加Executor的數量。

如何引用MaxCompute Project中的資源？

如何訪問VPC？

如何訪問公網?

如何訪問OSS？

如何引用Python三方庫？

• 問題現象：PySpark作業運行時拋出No module named 'xxx'異常。

• 問題原因：PySpark作業依賴Python第三方庫，在當前MaxCompute平臺默認的Python環境中尚未安裝。

• 解決方案：您可以采用以下幾種方案添加第三方庫依賴。

  • 直接使用MaxCompute Python公共環境。

    您只需要在DataWorks配置項或spark-defaults.conf文件中添加以下配置即可，不同Python版本配置如下：

    • Python 2配置

      ## Python 2.7.13 配置
      ## 以下配置必須在DataWorks配置項/spark-defaults.conf文件中添加
      spark.hadoop.odps.cupid.resources = public.python-2.7.13-ucs4.tar.gz
      spark.pyspark.python = ./public.python-2.7.13-ucs4.tar.gz/python-2.7.13-ucs4/bin/python
      
      ## 三方庫列表
      https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py27/py27-default_req.txt.txt

    • Python 3配置

      ## Python 3.7.9 配置
      ## 以下配置必須在DataWorks配置項/spark-defaults.conf文件中添加
      spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
      spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3
      
      ## 三方庫列表
      https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py37/py37-default_req.txt

  • 上傳單個WHEEL包。

    該方案適用于Python三方依賴數量較少、較為簡單的情況，命令示例如下。

    ##需要將wheel包重命名為zip包，例如將pymysql的wheel包重命名為pymysql.zip
    ##將重命名后的zip包上傳（文件類型為archive）
    ##在Dataworks spark節點引用該zip包（archive類型）
    ##在spark-defaults.conf或dataworks配置項中添加配置以下后即可import
    ## 配置
    spark.executorEnv.PYTHONPATH=pymysql
    spark.yarn.appMasterEnv.PYTHONPATH=pymysql
    
    ## 上傳代碼
    import pymysql

  • 上傳完整自定義Python環境。

    適用于依賴較為復雜或需要自定義Python版本的情況。您需利用Docker容器打包并上傳完整Python環境，詳情請參見Package依賴。

如何解決Jar依賴沖突問題？

• 問題現象：運行時拋出NoClassDefFoundError或NoSuchMethodError異常。

• 問題原因：通常是由于Jar包中的第三方依賴與Spark依賴版本沖突，需要檢查上傳的主Jar包及第三方依賴庫，排除沖突的依賴。

• 解決方案：

  • Pom自檢。

    • 將Spark社區版依賴設置為Provided。

    • 將Hadoop社區版依賴設置為Provided。

    • 將Odps/Cupid依賴設置為Provided。

  • 排除沖突的依賴。

  • 使用maven-shade-plugin relocation解決包沖突。

如何使用Local模式進行調試？

• Spark 2.3.0

  1. 在spark-defaults.conf中添加以下配置。

     spark.hadoop.odps.project.name =<Yourprojectname>
     spark.hadoop.odps.access.id =<YourAccessKeyID>
     spark.hadoop.odps.access.key =<YourAccessKeySecret>
     spark.hadoop.odps.end.point =<endpoint>

  2. 使用Local模式運行任務。

     ./bin/spark-submit --master local spark_sql.py

• Spark 2.4.5/Spark 3.1.1

  1. 創建odps.conf文件，并在文件中添加以下配置。

     odps.access.id=<YourAccessKeyID>
     odps.access.key=<YourAccessKeySecret>
     odps.end.point=<endpoint>
     odps.project.name=<Yourprojectname>

  2. 添加環境變量指向odps.conf文件位置。

     export ODPS_CONF_FILE=/path/to/odps.conf

  3. 使用Local模式運行任務。

     ./bin/spark-submit --master local spark_sql.py

• 常見報錯

  • 報錯1：

    • 報錯信息：

      • Incomplete config, no accessId or accessKey。

      • Incomplete config, no odps.service.endpoint。

    • 報錯原因：在Local模式開啟了EventLog。

    • 解決方案：將spark-defaults.conf中的spark.eventLog.enabled=true參數刪除即可。

  • 報錯2：

    • 報錯信息：Cannot create CupidSession with empty CupidConf。

    • 報錯原因：Spark 2.4.5或Spark 3.1.1 無法讀取odps.access.id等信息。

    • 解決方案：創建odps.conf文件，并添加環境變量后再運行任務

  • 報錯3：

    • 報錯信息：java.util.NoSuchElementException: odps.access.id。

    • 報錯原因：Spark 2.3.0 無法讀取odps.access.id等信息。

    • 解決方案：在spark-defaults.conf中添加spark.hadoop.odps.access.id等配置信息。

運行Spark作業時，報錯User signature does not match，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Stack:
  com.aliyun.odps.OdpsException: ODPS-0410042:
  Invalid signature value - User signature does not match

• 產生原因

  身份驗證未通過，AccessKey ID或AccessKey Secret有誤。

• 解決措施

  請檢查spark-defaults.conf提供的AccessKey ID、AccessKey Secret和阿里云官網控制臺用戶信息管理中的AccessKey ID、AccessKey Secret是否一致，如果不一致，請修改一致。

運行Spark作業時，報錯You have NO privilege，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Stack:
  com.aliyun.odps.OdpsException: ODPS-0420095: 
  Access Denied - Authorization Failed [4019], You have NO privilege 'odps:CreateResource' on {acs:odps:*:projects/*}

• 產生原因

  權限不足，需要申請權限。

• 解決措施

  需要由項目所有者授予Resource的Read和Create權限。更多授權信息，請參見MaxCompute權限。

運行Spark作業時，報錯Access Denied，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: com.aliyun.odps.OdpsException: ODPS-0420095: Access Denied - The task is not in release range: CUPID

• 產生原因

  • 原因一：Spark-defaults.conf中配置的AccessKey ID、AccessKey Secret不正確。

  • 原因二：項目所在的地域未提供Spark on MaxCompute服務。

• 解決措施

  • 原因一的解決措施：檢查Spark-defaults.conf配置信息，修改為正確的AccessKey ID、AccessKey Secret。更多信息，請參見搭建Linux開發環境。

  • 原因二的解決措施：確認項目所在的地域是否已經提供了Spark on MaxCompute服務或加入釘釘群21969532（Spark on MaxCompute支持群）咨詢。

運行Spark作業時，報錯No space left on device，如何解決？

Spark使用網盤進行本地存儲。Shuffle數據和BlockManager溢出的數據均存儲在網盤上。網盤的大小通過spark.hadoop.odps.cupid.disk.driver.device_size參數控制，默認為20 GB，最大為100 GB。如果調整到100 GB仍然報此錯誤，需要分析具體原因。常見原因為數據傾斜，在Shuffle或者Cache過程中數據集中分布在某些Block。此時可以縮小單個Executor的核數（spark.executor.cores），增加Executor的數量（spark.executor.instances）。

運行Spark作業時，報錯Table or view not found，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Table or view not found:xxx

• 產生原因

  • 原因一：表或視圖不存在。

  • 原因二：打開了Hive的catalog配置。

• 解決措施

  • 原因一的解決措施：請創建表。

  • 原因二的解決措施：去掉catalog配置。報錯示例如下，需要去掉enableHiveSupport()。

    spark = SparkSession.builder.appName(app_name).enableHiveSupport().getOrCreate()

運行Spark作業時，報錯Shutdown hook called before final status was reported，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  App Status: SUCCEEDED, diagnostics: Shutdown hook called before final status was reported.

• 產生原因

  提交到集群的user main并沒有通過AM（ApplicationMaster）申請集群資源。例如，用戶沒有新建SparkContext或用戶在代碼中設置spark.master為local。

運行Spark作業時，發生JAR包版本沖突類錯誤，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  User class threw exception: java.lang.NoSuchMethodError

• 產生原因

  JAR包版本沖突或類錯誤。

• 解決措施

  1. 在$SPARK_HOME/jars路徑下找出異常類所在的JAR。

  2. 執行如下命令定位第三方庫的坐標以及版本。

     grep <異常類類名> $SPARK_HOME/jars/*.jar

  3. 在Spark作業根目錄下，執行如下命令查看整個工程的所有依賴。

     mvn dependency:tree

  4. 找到對應的依賴后，執行如下命令排除沖突包。

     maven dependency exclusions

  5. 重新編譯并提交代碼。

運行Spark作業時，報錯ClassNotFound，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  java.lang.ClassNotFoundException: xxxx.xxx.xxxxx

• 產生原因

  類不存在或依賴配置錯誤。

• 解決措施

  1. 執行如下命令查看您提交的JAR包中是否存在該類定義。

     jar -tf <作業JAR包> | grep <類名稱>

  2. 檢查pom.xml文件中的依賴是否正確。

  3. 使用Shade方式提交JAR包。

運行Spark作業時，報錯The task is not in release range，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  The task is not in release range: CUPID

• 產生原因

  項目所在地域未開通Spark on MaxCompute服務。

• 解決措施

  請您選擇已經開啟Spark on MaxCompute服務的地域使用。

運行Spark作業時，報錯java.io.UTFDataFormatException，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  java.io.UTFDataFormatException: encoded string too long: 2818545 bytes 

• 解決措施

  調整spark-defaults.conf中spark.hadoop.odps.cupid.disk.driver.device_size參數的值。默認為20 GB，最大支持100 GB。

運行Spark作業時，打印的中文亂碼，如何解決？

"--conf" "spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"
"--conf" "spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"

Spark調用外網第三方任務時報錯，如何解決？

Spark不能調用外網第三方任務，網絡不通。

您可以在VPC中搭建Nginx反向代理，通過代理訪問外網。Spark支持直接訪問VPC，詳情請參見Spark訪問VPC實例。