本文介紹自定義連接器的功能及相關(guān)概念。
背景信息
在創(chuàng)建事件流任務(wù)時(shí)，事件總線EventBridge支持將事件提供方選擇為自定義連接器（CustomConnector）。自定義連接器是事件流的補(bǔ)充功能，它基于Serverless應(yīng)用引擎SAE（Serverless App Engine）構(gòu)建底層資源，存儲(chǔ)各個(gè)自定義連接器的元數(shù)據(jù)信息，協(xié)調(diào)并組織各資源完成相關(guān)連接器的創(chuàng)建。更多信息，請(qǐng)參見什么是Serverless應(yīng)用引擎？。
消息中間件產(chǎn)品Kafka被廣泛應(yīng)用于數(shù)據(jù)的ETL過(guò)程，用于對(duì)離線或在線數(shù)據(jù)進(jìn)行分發(fā)、消費(fèi)等。但數(shù)據(jù)的源端與目標(biāo)端缺乏一個(gè)無(wú)縫的通道對(duì)數(shù)據(jù)進(jìn)行快速傳輸。自定義連接器當(dāng)前支持Apache Kafka集群，使用Kafka Connect的開源框架，可以在Kafka集群與外部系統(tǒng)（如數(shù)據(jù)庫(kù)、消息隊(duì)列、文件系統(tǒng)）之間打造一個(gè)可靠的流式數(shù)據(jù)傳輸通道，使數(shù)據(jù)傳輸更彈性、低時(shí)延、高效率。
組件和架構(gòu)
自定義連接器的幾個(gè)重要概念包括連接器（Connectors）、任務(wù)（Tasks）、工作者（Workers）和運(yùn)行日志（Logs）。
Connectors
Connectors定義了數(shù)據(jù)集成的代碼邏輯部分、相關(guān)資源配置以及運(yùn)行配置，此部分決定了數(shù)據(jù)導(dǎo)入的源服務(wù)及數(shù)據(jù)寫入的目標(biāo)端。自定義連接器支持您將包含連接配置的ZIP文件上傳至控制臺(tái)，以實(shí)現(xiàn)低代碼快速創(chuàng)建自定義連接器任務(wù)。連接器部分自定義代碼，請(qǐng)參見Kafka Connectors。
Tasks
Tasks是無(wú)狀態(tài)邏輯執(zhí)行單元，每個(gè)Connector實(shí)例會(huì)協(xié)同管理多個(gè)Tasks單元用于進(jìn)行數(shù)據(jù)傳輸。
Workers
Workers是運(yùn)行連接器的實(shí)體資源，底層采用SAE應(yīng)用承載，會(huì)在相關(guān)賬號(hào)下創(chuàng)建SAE資源。
Logs
自定義連接器全部資源均托管在當(dāng)前創(chuàng)建賬號(hào)的SAE資源內(nèi)，Connectors運(yùn)行需要自行維護(hù)和管理。目前支持將運(yùn)行日志輸出到日志服務(wù)SLS和消息隊(duì)列Kafka版中進(jìn)行分析。
自定義連接器架構(gòu)如下圖所示。
