本文介紹Kafka自定義連接器提供的可觀測性能力及錯誤排查步驟。

可觀測性

Kafka自定義連接器提供了多方面的可觀測性能力，包括Kafka實例監控、Worker資源監控以及Connector監控大盤。

  1. 登錄事件總線EventBridge控制臺，在左側導航欄，單擊事件流。
  2. 在頂部菜單欄，選擇地域。
  3. 在事件流頁面，找到目標Kafka自定義連接器任務，在其右側操作列單擊詳情。
  4. 在左側導航欄，單擊指標監控。
    • 單擊Kafka實例監控頁簽，查看Kafka實例級別的消息生產以及消費情況的可觀測能力。Kafka實例監控
    • 單擊Worker資源監控頁簽，查看SAE應用級別以及實例級別的資源消耗情況。SAE承載著Kafka Connect Worker的運行，其資源消耗情況直接反映了此Connector的資源使用情況。Worker資源監控
    • 單擊Connector監控頁簽，查看Kafka Connect Tasks的運行狀態。該指標由Kafka Connect框架層提供，當Tasks運行失敗時，會展示詳細的錯誤信息，可協助進行錯誤定位。Connector監控

錯誤定位

當Kafka Connectors運行失敗時，您可以通過如下步驟逐步排查錯誤。

  1. 在事件流詳情頁面，單擊左側導航欄的概覽。
  2. 在基礎信息區域，單擊運行異常，查看錯誤類型及詳細錯誤信息。
    運行異常

    如果從錯誤信息中發現是Kafka Connect Task運行失敗了，此時可以單擊診斷鏈接跳轉到Connector監控頁面，查看Task運行失敗的詳細錯誤信息。

  3. 若上述步驟無法定位錯誤，您可以登錄至SAE控制臺進一步調試。
    1. 在事件流詳情頁面，單擊左側導航欄的概覽。
    2. 在Worker信息區域，單擊SAE應用后的實例名稱，跳轉到SAE應用詳情頁面。
      跳轉到SAE實例
    3. 在基本信息頁面，單擊實例部署信息頁簽。
    4. 在實例右側操作列，單擊Webshell登錄Kafka Connect運行環境。
      實例部署信息
      登錄后可以通過/opt/kafka/logs/connect.log文件查看Connectors運行日志，進行錯誤定位。