當您在DataStudio中完成任務開發,并發布至生產環境后,您可以進入運維中心運行實時同步任務,同時,您還可以在運維中心監控任務運行狀態、查看任務運行指標等。本文列舉實時同步任務的常見運維操作。

前提條件

已完成實時同步任務的創建、發布。詳情請參見:配置單表增量數據實時同步任務、配置整庫增量數據實時同步任務。

運行與管理實時同步任務

任務配置完成后,您可以在運維中心 > 實時任務運維 > 實時同步任務面板啟動、暫停、下線對應同步任務,詳情請參見實時同步任務運行與管理
說明 啟動任務運行時,支持您設置同步位點和FailOver次數。
  • 位點設置:支持斷點續傳或從指定同步起始位置開始同步。
  • FailOver:為避免FailOver導致頻繁啟動任務占用系統資源,您可配置指定時間段內FailOver出現次數超過指定次數時,任務自動結束運行。如果您不配置Failover次數,將根據5分鐘內,Failover次數超過100來自動結束任務。

任務運行狀態監控

為避免任務出錯導致業務數據產出延遲,您可以進入運維中心 > 實時任務運維 > 實時同步任務頁面,找到對應同步任務,單擊操作列的報警設置。詳情請參見:實時同步任務運行與管理
  • 報警條件:支持對任務狀態、業務延遲、FailoverDDL不支持設置監控報警。
    說明 DDL不支持:數據寫入不同目的端時,對源端DDL操作的支持情況不同,當源端存在不支持的DDL操作時,會報此類錯誤。DDL支持情況詳情請參見:支持的DML及DDL操作。
  • 報警通知方式:支持通過郵件短信電話釘釘等方式將報警信息發送給報警接收人。
  • 疲勞度控制:為了避免短時間內產生大量報警,數據集成實時同步還支持疲勞度控制,即為DataWorks支持您設置當前規則在指定時間間隔內只發送一次報警信息。

使用Logview查看任務運行信息

說明

該功能目前在灰度邀測中,如需使用,請進入DataWorks交流釘釘群聯系值班人員處理。

數據集成LogView是在數據集成同步任務中進行埋點采集,分析處理,可視化展現,更加細粒度展示分析同步任務過程的同步速率,日志等信息。

運維中心 > 實時同步任務頁面,找到目標任務,單擊實時任務的任務名稱,即可進入實時任務Logview頁面。logview您可以在該頁面查看如下信息:
參數描述
日志您可以在該頁面查看實時任務的日志詳情,并可以根據時間篩選日志。
進度您可以在該頁面查看實時任務的詳情進展,包括業務延遲同步條數、同步字節數、同步條數速率同步字節速率窗口等待時間等變化曲線。
您還可以在該頁面執行如下操作:
  • 您可以通過時間篩選框,篩選某段時間內任務的同步信息。
    說明 時間篩選最多支持查看15天內的詳細信息。
  • 任務列表右側,單擊自定義列圖標,可以選擇展現更多的列信息。
  • 任務列表中,可以通過切換查看Worker列表Task列表信息。
    • Worker列表是指實時任務啟動的實例,非分布式任務只有一個Worker,分布式任務根據并發數會有多個Worker。
    • Task列表是指一個Worker內部的線程任務,分為Reader類型和Writer類型,根據配置的并發數會有1個到多個的Reader任務和1個到多個的Writer任務。
    您還可以單擊任務列表中的內容,查看某個指標的曲線變化。
  • 在進程列表中,可以單擊具體的內容,查看某個指標的曲線變化。曲線
數據庫DDL事件您可以在此頁面查看源端發現的DDL記錄。
數據庫DML事件您可以在此頁面對來源表、目標表進行統計分析。
Failover您可以在此頁面查看實時任務的Failover狀態和變化曲線,也可以在日志詳情中查看該次Failover的日志信息。

修改實時同步任務

您可進入DataStudio界面重新編輯實時同步任務,但若要此次變更操作生效,您需要先停止線上實時同步任務,變更操作完成后重新提交、發布任務,然后進入運維中心啟動任務運行。

修改DDL規則

您可以在啟動同步任務前,進入DataStudio界面,重新定義該任務對源端DDL消息的處理策略。詳情請參見:配置整庫增量數據實時同步任務。
說明 DataStudio界面的變更操作,若要生效,都需要先停止線上實時同步任務,在操作完成后重新提交、發布任務,然后進入運維中心啟動任務運行。

常見問題

為什么實時同步任務延遲較大?