本文為您介紹使用Java和Scala語(yǔ)言開(kāi)發(fā)的示例。
下載示例工程
MaxCompute Spark提供了項(xiàng)目示例工程模板，建議您下載復(fù)制后直接在模板里進(jìn)行開(kāi)發(fā)。
執(zhí)行如下命令下載示例工程。
# spark-1.x 模板及編譯
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-1.x
mvn clean package
# spark-2.x 模板及編譯
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-2.x
mvn clean package注意 示例工程里關(guān)于Spark依賴(lài)的Scope為provided，此參數(shù)請(qǐng)不要更改，否則提交的作業(yè)無(wú)法正常運(yùn)行。
Spark-1.x示例
Spark-2.x示例
Spark-2.x示例如下：
- WordCount示例（Scala）
- MaxCompute Table讀寫(xiě)示例（Scala）
- GraphX PageRank示例（Scala）
- Mllib Kmeans-ON-OSS示例（Scala）
- OSS UnstructuredData示例（Scala）
- SparkPi示例（Scala）
- 支持Spark Streaming LogHub示例（Scala）
- 支持Spark Streaming LogHub寫(xiě)MaxCompute示例（Scala）
- 支持Spark Streaming DataHub示例（Scala）
- 支持Spark Streaming DataHub寫(xiě)MaxCompute示例（Scala）
- 支持Spark Streaming Kafka示例（Scala）
- 支持Spark StructuredStreaming DataHub示例（Scala）
- 支持Spark StructuredStreaming Kafka示例（Scala）
- 支持Spark StructuredStreaming LogHub示例（Scala）
- MaxCompute Table讀寫(xiě)PySpark示例（Python）
- PySpark寫(xiě)OSS示例（Python）
- Spark-SQL示例（Java）
- 從MaxCompute中讀取數(shù)據(jù)寫(xiě)入HBase
- 讀寫(xiě)OSS文件
- 讀MaxCompute寫(xiě)OSS