通過操作流程圖及說明,您可以直觀且全局了解數據開發的任務流程。本文從節點任務和場景任務兩個使用場景來介紹數據開發的任務操作流程。
節點模式操作流程
節點模式主要適用于計算節點相對獨立,整個流程由單個節點組成的這類簡單數據處理場景。
新建開發節點流程圖
流程說明
操作 | 說明 | |
新建開發節點 | 根據待處理的數據類型,選擇對應的節點類型,新建開發節點處理該類數據。具體操作,請參見步驟一:選擇節點類型并配置基本屬性。 | |
寫SQL語句 | 通過寫算法語句或者引用自定義函數處理數據。具體操作,請參見方式一:輸入算法語句。 | |
上傳資源文件 | 通過上傳腳本來處理數據。具體操作,請參見方式二:上傳節點資源文件并輸入對應腳本。 | |
設置運行配置參數 | 通過對計算節點中的腳本、自定義函數、節點輸入、節點輸出、參數等配置和管理,實現處理多種類型的數據,以及查看同一租戶內不同工作組中的任務依賴信息,并支持根據需要設置告警上報信息。具體操作,請參見步驟三:設置運行配置參數。 | |
適用于離線類節點 | 運行開發節點 | 運行節點,驗證處理邏輯和數據的準確性。具體操作,請參見步驟四:運行開發節點。 |
設置調度信息 | 當離線計算節點需要按照周期輸出數據時,支持通過設置節點的調度信息,實現節點中各數據被周期計算。具體操作,請參見步驟五:設置調度信息。 | |
上線開發節點 | 當開發節點運行成功后,將開發節點上線至生產節點后提供生產環境的服務。具體操作,請參見步驟六:上線開發節點。 | |
查看日志信息以及運維信息 | 當運行失敗或者上線失敗,通過查看日志信息或者上線的運維信息定位失敗原因,解決失敗的問題。具體操作,請參見查看生產節點詳情信息或查看生產節點任務運維信息。 |
場景模式操作流程
場景任務適用于算法相對比較復雜,算法流程由多個節點,包括系統節點和多個批量、流式等類型的計算類節點,在一個場景內的混合編排組成的節點工作流。
流程圖
流程說明
操作 | 說明 |
新建場景 | 通過新建開發場景,并在開發場景畫布中編排節點工作流、配置運行參數和調度參數,來驗證數據處理流程的正確性。具體操作,請參見步驟一:新建開發場景。 |
編排場景流程 | 通過在開發場景畫布中,添加系統節點和計算類節點并配置參數,然后按照業務流向連接,實現流程的編排。具體操作,請參見新建開發場景并部署運行。
|
部署/運行開發場景 | 將編排好的流程部署到對應的云計算資源上,然后運行驗證流程的正確性。具體操作,請參見步驟五:部署開發場景和步驟六:運行開發場景。 |
查看運維信息 | 當部署運行失敗時,可以查看運維信息,定位失敗原因,并根據失敗原因去修復問題。具體操作,請參見查看開發場景運維信息或者查看生產場景運維信息。 |
設置離線節點調度信息 | 開發場景運行成功后,可以設置離線節點的調度信息為生產場景調度使用。具體操作,請參見設置離線節點的調度信息。 |
上線開發場景 | 通過將相應的開發場景進行上線操作,發布成生產場景。具體操作,請參見上線開發場景。 |
部署/運行生產場景 | 生產場景部署運行以后提供在線服務。具體操作,請參見部署并運行生產場景。 |