本文介紹如何在云消息隊列 Kafka 版控制臺查看Connector任務配置信息、查看Connector日志、啟暫停Connector、修改Connector配置、測試Connector、查看消費詳情和刪除Connector。
前提條件
您已創建以下任意一種Connector:
僅FC Sink Connector和MySQL Source Connector支持修改Connector配置。
注意事項
僅FC Sink Connector支持修改Connector配置。
暫停Connector時,Connector需處于運行中狀態;啟用Connector時,Connector需處于暫停狀態。
查看Connector任務配置
您可以查看已創建的Connector的基礎信息、源實例配置、目標實例配置等信息。
在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊Connector 任務列表。
在Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,單擊操作列的詳情。
在Connector詳情頁面,顯示Connector的基礎信息、源信息和目標信息。
查看Connector日志
如果您的Connector出現異常,您可以在云消息隊列 Kafka 版控制臺查看Connector的日志以進行異常排查。
在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊Connector 任務列表。
在Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,選擇 。
您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊查看日志。
說明操作列查看日志位置和任務狀態有關,實際請以界面顯示為準。
在查看Connector日志頁面,查看Connector的日志。
修改Connector配置
成功創建FC Sink Connector或MySQL Source Connector后,您可以在云消息隊列 Kafka 版控制臺更新其配置。
在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊Connector 任務列表。
在Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,選擇 。
您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊修改配置。
在修改配置面板,按需修改配置參數,然后單擊確定。
修改FC Sink Connector配置
參數
描述
消費線程并發數
數據源Topic的消費線程并發數。默認值為6。取值說明如下:
1
2
3
6
12
失敗處理
消息發送失敗后,是否繼續訂閱出現錯誤的Topic的分區。取值說明如下:
繼續訂閱:繼續訂閱出現錯誤的Topic的分區,并打印錯誤日志。
停止訂閱:停止訂閱出現錯誤的Topic的分區,并打印錯誤日志。
說明如何查看日志,請參見Connector相關操作。
如何根據錯誤碼查找解決方案,請參見錯誤碼列表。
發送模式
消息的發送模式。取值如下:
同步:發送端和接收端必須同時處于運行狀態,隨時做好相互通信的準備。
異步: 發送端在發送消息之后可以不用等待服務端的響應, 可以接著處理其他任務。
發送批大小
批量發送消息的條數。
默認值為20,取值范圍為[1,5000]。
重試次數
消息發送失敗后的重試次數。默認為2。取值范圍為1~3。部分導致消息發送失敗的錯誤不支持重試。關于錯誤碼的詳細信息,請參見錯誤碼列表。錯誤碼與是否支持重試的對應關系如下:
4xx:除429支持重試外,其余錯誤碼不支持重試。
5xx:支持重試。
說明Connector調用InvokeFunction向函數計算發送消息。
修改MySQL Source Connector
參數
描述
數據庫表
需要同步的阿里云數據庫RDS MySQL版實例數據庫表的名稱,多個表名以英文逗號(,)分隔。
數據庫表和目標Topic是一對一的關系。
說明如果是在原任務基礎上增加或修改表,需提前在云消息隊列 Kafka 版控制臺創建與之對應的Topic,即Topic名稱為
Topic前綴_數據表名
,否則會在運行時出錯。創建Topic的具體操作,請參見步驟一:創建Topic。
修改完成后,在Connector 任務列表頁面,找到目標Connector。在其操作列,單擊詳情。在Connector 詳情頁面,查看到更新后的Connector配置。
啟停Connector
如果您需要暫時中止某個運行中的Connector或恢復某個暫停的Connector,您可以在云消息隊列 Kafka 版控制臺暫停或啟用該Connector。
在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊Connector 任務列表。
在Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,根據需要暫停或啟用該Connector。
暫停Connector:在其操作列,選擇
,然后在提示對話框,確認暫停Connector,單擊確認。啟用Connector:在其操作列,單擊啟用,然后在提示對話框,確認啟動Connector,單擊確認。
您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊暫停或啟用。
在Connector 任務列表頁面,找到暫停或啟用的Connector,狀態已變更為已暫停或運行中。
說明如果是MySQL Source Connector任務,暫停時間比較久時,會出現啟動失敗的情況。您可以在目標任務的操作,單擊任務配置,在DataWorks頁面,目標同步任務所在行,單擊啟動。在啟動對話框,勾選重置位點,并配置啟動時間點位,然后單擊確定。
測試Connector
如果您需要測試某個Connector,您可以在云消息隊列 Kafka 版控制臺向Connector發送測試消息。
在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊Connector 任務列表。
在Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其右側操作列,單擊測試。
您也可以在目標Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁面右上角單擊測試。
說明操作列測試位置和任務狀態有關,實際請以界面顯示為準。
在發送消息面板,發送測試消息。
在消息 Key文本框中輸入消息的Key值,例如demo。
在消息內容文本框輸入測試的消息內容,例如 {"key": "test"}。
設置發送到指定分區,選擇是否指定分區。
單擊是,在分區 ID文本框中輸入分區的ID,例如0。如果您需查詢分區的ID,請參見查看分區狀態。
單擊否,不指定分區。
查看消費進度
Connector任務創建完成并開始運行后,您可以查看Connector數據同步任務使用的Group在數據源Topic中的消費情況。其中,Group的名稱為connect-{任務名稱}。
在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊Connector 任務列表。
在Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,單擊消費進度。
您也可以在目標Connector任務名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁面右上角單擊消費進度。
在Group消費詳情面板,您可以查看Connector任務使用的Group在數據源Topic中的消費詳情。
刪除Connector
云消息隊列 Kafka 版限制了每個實例的Connector數量。如果您不再需要某個Connector,您可以在云消息隊列 Kafka 版控制臺刪除該Connector。
如果MySQL Source Connector任務處于運行狀態,在云消息隊列 Kafka 版控制臺將無法直接刪除,您需登錄DataWorks控制臺停止并下線Connector任務,然后提交工單清理云消息隊列 Kafka 版Connector任務的元信息。其他FC Sink Connector、MaxCompute Sink Connector、OSS Sink Connector以及Elasticsearch Sink Connector任務,均可在云消息隊列 Kafka 版控制臺直接刪除。
當刪除Connector時,系統會同時刪除該Connector依賴的5個Topic和2個Group,無論這些資源當時是自動創建的還是手動創建的。
在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊Connector 任務列表。
在Connector 任務列表頁面,從選擇實例的下拉列表選擇Connector所屬的實例,在實例下的Connector列表中找到目標Connector,在其操作列,選擇 。
您也可以在目標Connector任務名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁面右上角單擊刪除。
在提示對話框,單擊確認,刪除Connector。