在項目中,您可以通過創(chuàng)建作業(yè)來進行任務(wù)開發(fā)。本文為您介紹如何創(chuàng)建作業(yè)、設(shè)置和刪除作業(yè)。

前提條件

已創(chuàng)建項目,詳情請參見新建項目

創(chuàng)建作業(yè)

  1. 進入項目空間頁面。
    1. 使用阿里云賬號登錄Databricks數(shù)據(jù)洞察控制臺
    2. 在Databricks數(shù)據(jù)洞察控制臺頁面,選擇所在的地域(Region)。
      創(chuàng)建的集群將會在對應(yīng)的地域內(nèi),一旦創(chuàng)建后不能修改。
    3. 在左側(cè)導(dǎo)航欄,單擊項目空間
  2. 項目空間頁面,單擊待操作項目所在行的作業(yè)編輯
  3. 作業(yè)編輯區(qū)域,在需要操作的文件夾上單擊右鍵,選擇新建作業(yè)
    新建作業(yè)
  4. 新建作業(yè)對話框中,輸入作業(yè)名稱作業(yè)描述,選擇作業(yè)類型
    說明 創(chuàng)建作業(yè)時作業(yè)類型一經(jīng)確定,不能修改。
  5. 單擊確定
  6. 在作業(yè)內(nèi)容區(qū)域,填寫該作業(yè)需要提供的命令行參數(shù)。
  7. 單擊右上角的保存
  8. 單擊右上方的運行
    執(zhí)行作業(yè)。

設(shè)置作業(yè)

新建作業(yè)時、或者新建作業(yè)后,可對作業(yè)進行以下設(shè)置。

  1. 單擊頁面右上角的作業(yè)設(shè)置
  2. 作業(yè)設(shè)置頁面,設(shè)置基礎(chǔ)信息。
    參數(shù) 描述
    作業(yè)概要 作業(yè)描述:可修改作業(yè)的描述。
    運行資源 單擊右側(cè)的加號圖標(biāo),添加作業(yè)執(zhí)行所依賴的JAR包或HDFS等資源。您需要將資源先上傳至OSS,然后在運行資源中直接添加即可。
    配置參數(shù) 指定作業(yè)代碼中所引用的變量的值。您可以在代碼中引用變量,格式為${變量名}

    單擊右側(cè)的加號圖標(biāo),添加Key和Value。其中,Key為變量名,Value為變量的值。另外,您還可以根據(jù)調(diào)度啟動時間在此配置時間變量,詳情請參見作業(yè)日期設(shè)置

  3. 作業(yè)設(shè)置頁面,單擊高級設(shè)置
    配置項 說明
    模式
    • 提交節(jié)點: 目前只支持在在Master節(jié)點提交,表示作業(yè)在分配的機器上直接運行。
    • 預(yù)期最大運行時長:0~10800秒。
    環(huán)境變量 添加作業(yè)執(zhí)行的環(huán)境變量,也可以在作業(yè)腳本中直接export環(huán)境變量。
    調(diào)度參數(shù) 設(shè)置作業(yè)運行調(diào)度隊列、內(nèi)存、虛擬核數(shù)、優(yōu)先級和執(zhí)行用戶等信息。當(dāng)未設(shè)置這些參數(shù)時,作業(yè)會直接采用集群的默認值。

刪除作業(yè)

創(chuàng)建作業(yè)后,不再需要當(dāng)前作業(yè)時可刪除。

  1. 在項目空間頁面,單擊待操作項目所在行的刪除
  2. 刪除對話中,單擊確定