前提條件

• 在Databricks數(shù)據(jù)洞察產(chǎn)品中創(chuàng)建一個集群，詳情請參見創(chuàng)建集群

• 已使用OSS管理控制臺創(chuàng)建非系統(tǒng)目錄存儲空間，詳情請參見創(chuàng)建存儲空間。

  警告

  首次使用DDI產(chǎn)品創(chuàng)建的Bucket為系統(tǒng)目錄Bucket，不建議存放數(shù)據(jù)，您需要再創(chuàng)建一個Bucket來讀寫數(shù)據(jù)。

  說明

  DDI訪問OSS路徑結構：oss://BucketName/Object

  • BucketName為您的存儲空間名稱；

  • Object為上傳到OSS上的文件的訪問路徑。

  例：讀取在存儲空間名稱為databricks-demo-hangzhou文件路徑為demo/The_Sorrows_of_Young_Werther.txt的文件

  // 從oss地址讀取文本文檔
  val text = sc.textFile("oss://databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")

步驟一 ：上傳示例到OSS

• 上傳OSS目錄：自定義OSS存儲目錄。

步驟二 ：創(chuàng)建項目空間

在左側導航欄中，選擇項目空間，單擊新建項目按鈕，填寫項目名稱、項目描述，單擊創(chuàng)建按鈕。

二級菜單選擇作業(yè)編輯,新建作業(yè)。

步驟三 ：編寫并提交作業(yè)

--class com.aliyun.emr.example.spark.SparkWordCount oss://databricks-demo/test-sparksubmit-word-count/spark-wordcount-examples-1.2.0.jar 
oss://databricks-demo/test-sparksubmit-word-count/The_Sorrows_of_Young_Werther.txt 
oss://databricks-demo/test-sparksubmit-word-count/output/temp/01 1

步驟四 ：驗證作業(yè)

作業(yè)執(zhí)行完成后，查看作業(yè)運行記錄。

作業(yè)執(zhí)行成功后，可在OSS相應目錄查看當前作業(yè)產(chǎn)出數(shù)據(jù)。