當內置的連接器無法滿足需求時,您可以使用自定義連接器。本文為您介紹如何上傳、使用和更新自定義連接器。
注意事項
您需要根據(jù)社區(qū)定義的連接器標準開發(fā)您自定義的連接器,才能正確地被實時計算Flink版識別并使用,因此您需要明確連接器Meta文件和聲明Factory類。自定義連接器開發(fā)詳情請參見User-defined Sources & Sinks。
同種類型的連接器僅可以上傳一次。
為了避免JAR包依賴沖突,您還需要注意以下幾點:
Flink鏡像和Pom依賴的Flink版本請保持一致。
請不要上傳Runtime層的JAR包,即在依賴中添加
<scope>provided</scope>
。其他第三方依賴請采用Shade方式打包,Shade打包詳情參見Apache Maven Shade Plugin。
上傳與使用自定義連接器
進入自定義連接器注冊入口。
登錄實時計算控制臺。
單擊目標工作空間操作列下的控制臺。
在左側導航欄,單擊連接器。
注冊自定義連接器。
在連接器頁面,單擊創(chuàng)建自定義連接器。
上傳自定義連接器JAR文件。
您可以通過以下任何一種方式上傳自定義連接器JAR文件:
上傳文件:單擊選擇文件后,選擇您的目標連接器JAR文件。
外部URL:當需要使用其他服務上存在的JAR文件時,可以使用外部URL功能獲取JAR文件。例如,https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar
說明僅支持以下兩類外部URL:
開通Flink工作空間時選擇的OSS Bucket地址。您可以在實時計算管理控制臺目標工作空間詳情中查看綁定的OSS Bucket。
實時計算Flink版可以訪問且被允許訪問(公共讀或被授予權限)的其他外部存儲系統(tǒng)地址。
上傳完成后,單擊下一步。
系統(tǒng)會對您上傳的自定義連接器內容進行解析。如果解析成功,您可以繼續(xù)下一步。如果解析失敗,請確認您上傳的自定義連接器代碼是否符合Flink社區(qū)標準。
單擊完成。
創(chuàng)建完成的自定義連接器會出現(xiàn)在連接器列表中。
在作業(yè)DDL中使用連接器。
作業(yè)開發(fā)詳情請參見SQL作業(yè)開發(fā)。
說明WITH參數(shù)中的連接器取值為您自定義連接器JAR包中DynamicTableFactory的identifier參數(shù)取值,其他WITH參數(shù)及含義詳情由您開發(fā)的自定義連接器決定。
更新自定義連接器
更新自定義連接器后,使用該連接器的運行中的作業(yè)不受影響。重新啟動作業(yè)后,會使用更新的連接器。
進入自定義連接器更新入口。
登錄實時計算控制臺。
單擊目標工作空間操作列下的控制臺。
在左側導航欄,單擊連接器。
在自定義連接器頁簽,單擊目標自定義連接器名稱右側的編輯。
上傳自定義連接器JAR文件。
您可以通過以下任何一種方式上傳自定義連接器JAR文件:
上傳文件:單擊選擇文件后,選擇您的目標連接器JAR文件。
外部URL:輸入外部URL地址。例如,https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar
說明僅支持以下兩類外部URL:
開通Flink工作空間時選擇的OSS Bucket地址。您可以在實時計算管理控制臺目標工作空間詳情中查看綁定的OSS Bucket。
實時計算Flink版可以訪問且被允許訪問(公共讀或被授予權限)的其他外部存儲系統(tǒng)地址。
上傳完成后,單擊下一步。
系統(tǒng)會對您上傳的自定義連接器內容進行解析。如果解析成功,您可以繼續(xù)下一步。如果解析失敗,請確認您上傳的自定義連接器代碼是否符合Flink社區(qū)標準。
單擊完成。
相關文檔
Flink內置了豐富的連接器,支持的內置連接器詳情請參見支持的連接器。
使用社區(qū)版CDC連接器,詳情請參見社區(qū)版CDC連接器使用方法。
Flink提供了元數(shù)據(jù)管理,您可以通過創(chuàng)建Catalog來管理和訪問相關的元數(shù)據(jù),詳情請參見管理元數(shù)據(jù)。