本文為您介紹了如何在自動駕駛數據管理中使用內置算子構建一個簡單的自動駕駛云上數據預處理流程。
本文內容的視頻教程
以上視頻介紹建立一個簡單數據處理任務的流程。
創建任務數據源(云資源管理)
首先在右上角單擊“云資源管理”。
在創建云計算資源表單中,填寫需要使用的云資源信息后進行確認,關鍵參數說明如下:
自定義云計算資源標識及名稱;
選擇授權產品、資源存儲類型為OSS,在OSS賬戶中查看自己的Endpoint、Bucket等對應參數信息后填寫至表單。
什么是OSS的endpoint/bucket以及如何獲取AccessKey,您可參考OSS的幫助文檔。
圖1 配置OSS數據源示例
創建數據處理任務
在創建好云計算資源后,可創建數據處理任務,數據處理任務中數據源來自于剛剛所創建的云資源,具體步驟如下:
在任務流列表中點擊“添加任務”按鈕添加數據處理任務。
在畫布區域從系統節點中拖入對應計算節點,該節點將彈出右側彈框,配置對應信息。各節點屬性介紹可參考任務配置。
重復操作2,直到您所需的計算節點都在畫布中,通過連線將不同的節點串聯起來。
點擊畫布頂端區域的部署,任務將會按照您配置的調度周期運行。
如您是手工調度的任務,或需要臨時執行一次任務,直接點擊畫布頂端區域運行按鈕。
圖2 畫布中的任務連線示例
查看任務日志
任務創建成功后,您可以在任務運維模塊查看任務的運行日志。
在列表中找到您的任務名稱
點擊任務日志按鈕
在彈出的任務日志頁面中,查看運行日志。
檢索數據
任務創建成功后,您可以在數據檢索中查找任務產生的數據集。
在左側的數據集目錄中,找到您剛才創建的任務
點開任務名稱,列表將以執行時間的方式區分展示任務不同次執行的結果
在執行時間的下級目錄下,即任務不同節點產出的數據集目錄。點擊該目錄,即可在右側主面板中查看該數據集的所有數據文件。
備注:詳細檢索步驟可見數據檢索。