日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關鍵字查找
首頁 大數據開發(fā)治理平臺 DataWorks 操作指南 數據集成 任務運維和調優(yōu) 全增量同步任務 全增量同步任務運維

全增量同步任務運維

更新時間：
產品詳情
我的收藏

完成任務配置后，您可以對已創(chuàng)建的任務進行管理，同時，您還可以查看任務運行的指標詳情。本文為您介紹全增量同步任務的常見運維操作。

背景信息

本文僅說明全增量同步任務常見的運維操作，全增量同步任務產生的實時同步子任務運維操作請參見：實時同步任務運維；離線子任務運維操作參考：離線同步任務運維。

管理全增量同步任務

任務配置完成后，您可以在數據集成 > 同步任務頁面查看已創(chuàng)建的同步任務列表，您可以根據不同條件篩選同步任務。并對相應的同步任務執(zhí)行如下操作：

操作

說明

啟動

單擊對應同步任務操作列的提交執(zhí)行，啟動同步任務的運行。

編輯

實際生產環(huán)境業(yè)務會隨著時間推移不斷演進，源端的業(yè)務表可能會持續(xù)新增，全增量同步任務支持增加或刪除表。您可以單擊操作列更多 > 修改配置，進入任務配置界面進行增加或刪除表，配置完成后，您可以單擊提交執(zhí)行，提交執(zhí)行任務時，會和上一次運行成功的任務對應的表做對比，當發(fā)現新增表時則會執(zhí)行新增表的添加流程。詳情請參見：增加或刪除已運行任務的同步表。

如果同步方案類型為一鍵實時同步，將先對新增表進行全量初始化，執(zhí)行完成后會將新增表加入實時同步任務并啟動實時同步。

說明

  • 重置實時同步任務位點并啟動運行時，會存在一個新增表追加變更數據的過程，即任務位點時間重置到新增表全量數據初始化時的時間。例如，您的同步任務8點開始運行，到9點時運行未結束。9點時新增了一張表，則全量數據初始化在9點開始執(zhí)行，此過程耗時1小時，即全量數據初始化在10點完成。此時，已經正在運行的實時同步任務會先停止，然后重置任務位點到9點，進行追加增量數據，9點到10點之間所有變更表的增量數據會被重新同步至Hologres目標表，一鍵新增表只保證數據的最終一致性。

  • 若您需要對所有表執(zhí)行初始化操作，請使用強制重跑功能。

強制重跑

在某些特殊情況下，例如發(fā)現源端數據被污染、數據鏈路出現問題等，您可以單擊操作列更多 > 強制重跑強制對源端所有表進行全增量初始化操作，將源端數據重新遷移到目標表中，以快速恢復數據。

說明

  • 僅Hologres和MaxCompute支持強制重跑同步任務。

  • 強制重跑暫不支持分庫分表全增量同步任務。

其中一鍵實時同步至MaxCompute任務需要重跑流程恢復數據的常見場景如下：

  • 實時任務失敗太久導致Binlog被清理，無法補回增量數據。

  • 由于各種原因導致目標表缺失了新增列。

  • 由于各種原因導致目標表數據出現了缺失或者不正確的問題。

重要

  • 強制重跑會同步源表的列到目標表，如果目標表缺失了源表的列則會進行加列補齊。

  • 執(zhí)行強制重跑前，需要確認是否可能和正在運行或者即將運行的Merge任務實例產生沖突（同時運行時，如果業(yè)務日期相同，分區(qū)數據或者表數據可能會相互覆蓋）。

    您可以在DataWorks運維中心的查看周期實例頁面查看該同步任務Merge實例的執(zhí)行情況，如果Merge任務和強制重跑操作產生沖突，您可以：

    • 暫停強制重跑操作，等待Merge任務執(zhí)行完成后，再執(zhí)行強制重跑操作。

    • 凍結即將運行的Merge實例，等待強制重跑成功后，恢復Merge實例。

  • 強制重跑執(zhí)行完成后，如果次日數據未產出或者Merge任務沒有恢復自動運行，您需要手動確認并恢復該Merge實例的運行：

全量補數據

該功能適用于MaxCompute目標表由于各種原因出現了數據缺失等正確性問題，需要重新同步全量數據補回全量數據的場景。

說明

  • 僅一鍵實時同步至MaxCompute任務支持全量補數據。

  • 全量補數據暫不支持分庫分表同步任務。

單擊對應同步任務操作列的全量補數據，配置全量補數據參數：

  1. 選擇補數據的業(yè)務日期。

    對于分區(qū)表，全量數據會同步到業(yè)務日期對應的日期分區(qū)中。

  2. 選擇補數據端表。

    在左側選擇框，選擇要執(zhí)行全量同步的表，單擊圖標圖標，將其添加至右側。

  3. 單擊確定按鈕，開始全量補數據操作。

重要

  • 當前業(yè)務日期僅支持選擇單日，如果要補多日的全量數據，需要執(zhí)行多次全量補數據。

  • 一鍵全量同步會同步源表和目標表的共同列，以及全增量同步任務中定義的附加列。

  • 執(zhí)行全量補數據前，需要確認補數據的業(yè)務日期，是否可能和正在運行或者即將運行的Merge任務實例產生沖突（同時運行時，如果業(yè)務日期相同，分區(qū)數據或者表數據可能會相互覆蓋）。

    您可以在DataWorks運維中心的查看周期實例頁面查看該同步任務Merge實例的執(zhí)行情況，如果Merge任務和全量補數據操作產生沖突，您可以：

    • 暫停全量補數據操作，等待Merge任務執(zhí)行完成后，再執(zhí)行全量補數據操作。

    • 凍結即將運行的Merge實例，等待全量補數據完成后，恢復Merge實例。

停止

運行中的任務，可以單擊操作列的停止，終止同步任務的運行。

查看任務運行概況

您可以進入數據集成 > 任務運維頁面查看所選時間周期中目標全增量同步任務的運行狀態(tài)概況。主要內容如下：

  • 總運行狀態(tài)分布區(qū)域展示當前所選時間周期，目標任務的個數及運行結果的狀態(tài)分布，統計的是任務運行成功及失敗狀況。您可以單擊餅圖中的某個色塊，進入相應狀態(tài)的任務列表，在任務列表頁面查看相應任務的執(zhí)行詳情。任務的執(zhí)行詳情內容介紹請參見查看任務執(zhí)行詳情。

  • 資源組水位區(qū)域展示當前登錄阿里云的賬號所使用的資源組規(guī)格及使用情況。您可以單擊資源組名稱，進入目標資源組詳情頁面，查看資源組的基本信息及使用詳情。資源組的詳細內容介紹請參見查看獨享資源組的使用詳情。

  • 離線同步子任務區(qū)域展示當前所選時間周期，目標全增量同步任務包含的離線同步任務個數、同步速率、運行結果的狀態(tài)分布，以及同步數據情況。

    • 運行結果統計的是任務運行成功及異常狀況。

    • 同步數據說明如下：

      • 同步任務數：顯示當前同步任務中運行成功的任務個數。

      • 同步數據量：顯示當前同步任務中的已同步數據量，包含已運行成功任務同步的數據量及運行中任務已同步的數據量。

      • 同步記錄數：顯示當前同步任務中的已同步數據的條數記錄。

    說明

    離線同步子任務的統計情況每小時更新一次。

  • 實時同步子任務區(qū)域展示當前所選周期，目標全增量同步任務包含的實時同步任務個數、同步速率、運行結果的狀態(tài)分布，以及運行中任務延遲排行TOP10的延遲情況。您可以單擊任務名稱，進入實時任務運維頁面查看任務詳情。

查看任務執(zhí)行詳情

您可以單擊數據集成 > 同步任務，進入任務列表頁面。

在任務列表頁面，為您展示全增量同步任務的任務類型、任務名稱及可執(zhí)行的相關操作等信息，您可以在目標同步任務的操作列單擊執(zhí)行詳情，查看任務執(zhí)行的詳細信息。主要內容如下：

  • 執(zhí)行數據區(qū)域展示當前查看任務的同步前置環(huán)境準備、全量離線同步、實時同步等子任務的執(zhí)行狀態(tài)。您可以根據執(zhí)行狀態(tài)，判斷各個子任務是否正常運行，便于快速定位全增量同步任務執(zhí)行的阻塞點。狀態(tài)如下：

    • 顯示運行成功圖標，則表示任務執(zhí)行成功。

    • 顯示異常圖標，則表示任務執(zhí)行異常。

    • 顯示等待運行圖標，則表示任務等待運行。

  • 全量離線同步和實時同步區(qū)域展示當前查看的全增量同步任務中，全量離線同步或實時同步子任務同步的來源數據源、當前同步速率、同步數據、同步數據的延遲情況及所使用資源組的詳細信息。

  • 執(zhí)行步驟區(qū)域展示當前查看的全增量同步任務，從創(chuàng)建任務到啟動執(zhí)行離線任務、實時任務的所有流程步驟。您可以在該區(qū)域查看所有步驟的執(zhí)行時間及執(zhí)行狀態(tài)。