日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Connector相關操作

本文介紹如何在云消息隊列 Kafka 版控制臺查看Connector任務配置信息、查看Connector日志、啟暫停Connector、修改Connector配置、測試Connector、查看消費詳情和刪除Connector。

前提條件

您已創建以下任意一種Connector:

說明

僅FC Sink Connector和MySQL Source Connector支持修改Connector配置。

注意事項

  • 僅FC Sink Connector支持修改Connector配置。

  • 暫停Connector時,Connector需處于運行中狀態;啟用Connector時,Connector需處于暫停狀態。

查看Connector任務配置

您可以查看已創建的Connector的基礎信息、源實例配置、目標實例配置等信息。

  1. 登錄云消息隊列 Kafka 版控制臺

  2. 概覽頁面的資源分布區域,選擇地域。

  3. 在左側導航欄,單擊Connector 任務列表

  4. Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,單擊操作列的詳情

    在Connector詳情頁面,顯示Connector的基礎信息源信息目標信息

查看Connector日志

如果您的Connector出現異常,您可以在云消息隊列 Kafka 版控制臺查看Connector的日志以進行異常排查。

  1. 登錄云消息隊列 Kafka 版控制臺

  2. 概覽頁面的資源分布區域,選擇地域。

  3. 在左側導航欄,單擊Connector 任務列表

  4. Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,選擇更多 > 查看日志

    您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊查看日志

    說明

    操作查看日志位置和任務狀態有關,實際請以界面顯示為準。

    在查看Connector日志頁面,查看Connector的日志。

修改Connector配置

成功創建FC Sink Connector或MySQL Source Connector后,您可以在云消息隊列 Kafka 版控制臺更新其配置。

  1. 登錄云消息隊列 Kafka 版控制臺

  2. 概覽頁面的資源分布區域,選擇地域。

  3. 在左側導航欄,單擊Connector 任務列表

  4. Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,選擇更多 > 修改配置

    您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊修改配置

  5. 修改配置面板,按需修改配置參數,然后單擊確定

    • 修改FC Sink Connector配置

      參數

      描述

      消費線程并發數

      數據源Topic的消費線程并發數。默認值為6。取值說明如下:

      • 1

      • 2

      • 3

      • 6

      • 12

      失敗處理

      消息發送失敗后,是否繼續訂閱出現錯誤的Topic的分區。取值說明如下:

      • 繼續訂閱:繼續訂閱出現錯誤的Topic的分區,并打印錯誤日志。

      • 停止訂閱:停止訂閱出現錯誤的Topic的分區,并打印錯誤日志。

      說明

      發送模式

      消息的發送模式。取值如下:

      • 同步:發送端和接收端必須同時處于運行狀態,隨時做好相互通信的準備。

      • 異步: 發送端在發送消息之后可以不用等待服務端的響應, 可以接著處理其他任務。

      發送批大小

      批量發送消息的條數。

      默認值為20,取值范圍為[1,5000]。

      重試次數

      消息發送失敗后的重試次數。默認為2。取值范圍為1~3。部分導致消息發送失敗的錯誤不支持重試。關于錯誤碼的詳細信息,請參見錯誤碼列表。錯誤碼與是否支持重試的對應關系如下:

      • 4xx:除429支持重試外,其余錯誤碼不支持重試。

      • 5xx:支持重試。

      說明

      Connector調用InvokeFunction向函數計算發送消息。

    • 修改MySQL Source Connector

      參數

      描述

      數據庫表

      需要同步的阿里云數據庫RDS MySQL版實例數據庫表的名稱,多個表名以英文逗號(,)分隔。

      數據庫表和目標Topic是一對一的關系。

      說明

      如果是在原任務基礎上增加或修改表,需提前在云消息隊列 Kafka 版控制臺創建與之對應的Topic,即Topic名稱為Topic前綴_數據表名,否則會在運行時出錯。創建Topic的具體操作,請參見步驟一:創建Topic

    修改完成后,在Connector 任務列表頁面,找到目標Connector。在其操作列,單擊詳情。在Connector 詳情頁面,查看到更新后的Connector配置。

啟停Connector

如果您需要暫時中止某個運行中的Connector或恢復某個暫停的Connector,您可以在云消息隊列 Kafka 版控制臺暫停或啟用該Connector。

  1. 登錄云消息隊列 Kafka 版控制臺

  2. 概覽頁面的資源分布區域,選擇地域。

  3. 在左側導航欄,單擊Connector 任務列表

  4. Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,根據需要暫停或啟用該Connector。

    • 暫停Connector:在其操作列,選擇更多 > 暫停,然后在提示對話框,確認暫停Connector,單擊確認

    • 啟用Connector:在其操作列,單擊啟用,然后在提示對話框,確認啟動Connector,單擊確認

    您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊暫停啟用

    Connector 任務列表頁面,找到暫停或啟用的Connector,狀態已變更為已暫停運行中

    說明

    如果是MySQL Source Connector任務,暫停時間比較久時,會出現啟動失敗的情況。您可以在目標任務的操作,單擊任務配置,在DataWorks頁面,目標同步任務所在行,單擊啟動。在啟動對話框,勾選重置位點,并配置啟動時間點位,然后單擊確定

測試Connector

如果您需要測試某個Connector,您可以在云消息隊列 Kafka 版控制臺向Connector發送測試消息。

  1. 登錄云消息隊列 Kafka 版控制臺

  2. 概覽頁面的資源分布區域,選擇地域。

  3. 在左側導航欄,單擊Connector 任務列表

  4. Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其右側操作列,單擊測試

    您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊測試

    說明

    操作測試位置和任務狀態有關,實際請以界面顯示為準。

  5. 發送消息面板,發送測試消息。

    1. 消息 Key文本框中輸入消息的Key值,例如demo。

    2. 消息內容文本框輸入測試的消息內容,例如 {"key": "test"}。

    3. 設置發送到指定分區,選擇是否指定分區。

      • 單擊,在分區 ID文本框中輸入分區的ID,例如0。如果您需查詢分區的ID,請參見查看分區狀態

      • 單擊,不指定分區。

查看消費進度

Connector任務創建完成并開始運行后,您可以查看Connector數據同步任務使用的Group在數據源Topic中的消費情況。其中,Group的名稱為connect-{任務名稱}。

  1. 登錄云消息隊列 Kafka 版控制臺

  2. 概覽頁面的資源分布區域,選擇地域。

  3. 在左側導航欄,單擊Connector 任務列表

  4. Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,單擊消費進度

    您也可以在目標Connector任務名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁面右上角單擊消費進度

    Group消費詳情面板,您可以查看Connector任務使用的Group在數據源Topic中的消費詳情。

刪除Connector

云消息隊列 Kafka 版限制了每個實例的Connector數量。如果您不再需要某個Connector,您可以在云消息隊列 Kafka 版控制臺刪除該Connector。

重要
  • 如果MySQL Source Connector任務處于運行狀態,在云消息隊列 Kafka 版控制臺將無法直接刪除,您需登錄DataWorks控制臺停止并下線Connector任務,然后提交工單清理云消息隊列 Kafka 版Connector任務的元信息。其他FC Sink Connector、MaxCompute Sink Connector、OSS Sink Connector以及Elasticsearch Sink Connector任務,均可在云消息隊列 Kafka 版控制臺直接刪除。

  • 當刪除Connector時,系統會同時刪除該Connector依賴的5個Topic和2個Group,無論這些資源當時是自動創建的還是手動創建的。

  1. 登錄云消息隊列 Kafka 版控制臺

  2. 概覽頁面的資源分布區域,選擇地域。

  3. 在左側導航欄,單擊Connector 任務列表

  4. Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,選擇更多 > 刪除

    您也可以在目標Connector任務名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁面右上角單擊刪除

  5. 提示對話框,單擊確認,刪除Connector。