當您在DataStudio中完成任務開發,并發布至生產環境后,您可以進入運維中心運行實時同步任務,同時,您還可以在運維中心監控任務運行狀態、查看任務運行指標等。本文列舉實時同步任務的常見運維操作。
前提條件
已完成實時同步任務的創建、發布。詳情請參見:配置單表增量數據實時同步任務、配置整庫增量數據實時同步任務。
運行與管理實時同步任務
任務配置完成后,您可以在啟動、暫停、下線對應同步任務,詳情請參見實時同步任務運行與管理。
面板說明 啟動任務運行時,支持您設置同步位點和FailOver次數。
- 位點設置:支持斷點續傳或從指定同步起始位置開始同步。
- FailOver:為避免FailOver導致頻繁啟動任務占用系統資源,您可配置指定時間段內FailOver出現次數超過指定次數時,任務自動結束運行。如果您不配置Failover次數,將根據5分鐘內,Failover次數超過100來自動結束任務。
任務運行狀態監控
為避免任務出錯導致業務數據產出延遲,您可以進入 頁面,找到對應同步任務,單擊操作列的報警設置。詳情請參見:實時同步任務運行與管理。- 報警條件:支持對任務狀態、業務延遲、Failover和DDL不支持設置監控報警。說明 DDL不支持:數據寫入不同目的端時,對源端DDL操作的支持情況不同,當源端存在不支持的DDL操作時,會報此類錯誤。DDL支持情況詳情請參見:支持的DML及DDL操作。
- 報警通知方式:支持通過郵件、短信、電話和釘釘等方式將報警信息發送給報警接收人。
- 疲勞度控制:為了避免短時間內產生大量報警,數據集成實時同步還支持疲勞度控制,即為DataWorks支持您設置當前規則在指定時間間隔內只發送一次報警信息。
使用Logview查看任務運行信息
說明
該功能目前在灰度邀測中,如需使用,請進入DataWorks交流釘釘群聯系值班人員處理。
數據集成LogView是在數據集成同步任務中進行埋點采集,分析處理,可視化展現,更加細粒度展示分析同步任務過程的同步速率,日志等信息。
在
頁面,找到目標任務,單擊實時任務的任務名稱,即可進入實時任務Logview頁面。您可以在該頁面查看如下信息:參數 | 描述 |
---|---|
日志 | 您可以在該頁面查看實時任務的日志詳情,并可以根據時間篩選日志。 |
進度 | 您可以在該頁面查看實時任務的詳情進展,包括業務延遲、同步條數、同步字節數、同步條數速率、同步字節速率、窗口等待時間等變化曲線。 您還可以在該頁面執行如下操作:
|
數據庫DDL事件 | 您可以在此頁面查看源端發現的DDL記錄。 |
數據庫DML事件 | 您可以在此頁面對來源表、目標表進行統計分析。 |
Failover | 您可以在此頁面查看實時任務的Failover狀態和變化曲線,也可以在日志詳情中查看該次Failover的日志信息。 |
修改實時同步任務
您可進入DataStudio界面重新編輯實時同步任務,但若要此次變更操作生效,您需要先停止線上實時同步任務,變更操作完成后重新提交、發布任務,然后進入運維中心啟動任務運行。
修改DDL規則
您可以在啟動同步任務前,進入DataStudio界面,重新定義該任務對源端DDL消息的處理策略。詳情請參見:配置整庫增量數據實時同步任務。
說明 DataStudio界面的變更操作,若要生效,都需要先停止線上實時同步任務,在操作完成后重新提交、發布任務,然后進入運維中心啟動任務運行。