Dataphin支持自定義離線數據源,以滿足不同業務場景數據同步的需求。
前提條件
對于RDBMS數據庫,已獲取數據庫驅動文件。
對于其他類型數據庫,獲取數據源連接配置項的JSON代碼和讀/寫插件。
背景信息
RDBMS數據庫即關系型數據庫,如MySQL、Oracle、SQL Server等。通常關系型數據庫的鏈接方式一樣,包括數據庫驅動和配置項(鏈接地址、登錄的用戶名和密碼)。Dataphin已提供RDBMS類型數據庫的默認數據源配置項,您只需要準備數據庫驅動,即可創建RDBMS自定義源類型。
對于非RDBMS類型的數據庫,數據源的鏈接方式與配置項比較多樣化。您可通過JSON定義數據源連接所需配置項,并上傳讀/寫插件驅動包創建非RDBMS類型自定義源。
集成組件生成說明
完成創建離線自定義源類型后,在集成管道的組件庫中會自動生成該類型的集成組件。您可使用該組件進行集成開發工作。集成組件生成說明如下:
創建RDBMS類型的離線自定義數據源,在集成管道組件庫的開放目錄下自動生成輸入和輸出組件。
其他類型的自定義源,系統根據您上傳的讀/寫插件,在組件庫的開放目錄下生成您上傳的讀/寫插件組件。
新建RDBMS類型數據源
在Dataphin首頁,單擊頂部菜單欄管理中心 > 數據源管理。
在左側導航欄單擊自定義源類型。
在自定義源類型頁面中,單擊新建自定義源類型,下拉列表中選擇新建離線自定義源類型。
在新建離線自定義源類型頁面,配置參數。
參數
描述
基本配置
類型
選擇RDBMS數據庫。
名稱
自定義組件的名稱。
支持中文、英文字母大小寫、下劃線(_)和數字。長度不超過64個字符。
類型編碼
供后端使用,創建后不可編輯。
僅支持英文字母大小寫、數字和下劃線(_),且不能以數字開頭。
資源配置
驅動名稱
輸入數據庫驅動名稱。
支持英文字母大小寫、下劃線(_)、數字和半角句號(.)。長度不超過64個字符。例如com.mysql.jdbc.Driver。
驅動上傳
上傳的數據庫驅動文件。
說明僅支持.jar類型的文件,文件不超過200MB。
描述信息
描述
對自定義的數據源的簡單描述。長度不超過128個字符。
單擊創建。
新建其他類型數據源
在新建離線自定義源類型頁面,配置參數。
參數
描述
基本配置
類型
選擇其他數據庫。
名稱
自定義組件的名稱。
支持中文、英文字母大小寫、下劃線(_)和數字。長度不超過64個字符。
類型編碼
供后端使用,創建后不可編輯。
僅支持英文字母大小寫、數字和下劃線(_),且不能以數字開頭。
數據源JSON
填寫數據源JSON代碼及上傳讀寫插件:
填寫數據源JSON代碼,即定義數據源的配置項,代碼示例說明如下:
[ { "columnName": "url", "columnType": "NORMAL", "text": { "zh_CN": "鏈接地址", "en_US": "address", "zh_TW": "繁體" }, "placeholder": { "zh_CN": "請輸入鏈接地址", "en_US": "input address", "zh_TW": "繁體" } }, { "columnName": "username", "columnType": "NORMAL", "text": { "zh_CN": "用戶名", "en_US": "username", "zh_TW": "繁體" }, "placeholder": { "zh_CN": "請輸入用戶名", "en_US": "input username", "zh_TW": "繁體" } }, { "columnName": "password", "columnType": "ENCRYPT", "text": { "zh_CN": "密碼", "en_US": "password", "zh_TW": "繁體" }, "placeholder": { "zh_CN": "請輸入密碼", "en_US": "input password", "zh_TW": "繁體" } } ]
資源配置
讀寫插件
勾選所需上傳的插件類型并填寫ClassName(插件類名)及上傳插件。
僅支持.jar類型的文件。文件不超過50MB。
讀取插件與寫入插件請至少選擇一項進行配置。
選擇了讀插件就會生成讀的組件,選擇了寫插件就會生成寫的組件。
描述信息
描述
對自定義的數據源的簡單描述。不超過128個字。
單擊創建。
后續步驟
完成離線自定義源類型創建后,系統將生成該類型的數據源配置項,您可將該類型的數據源接入到Dataphin中。詳情請參見新建自定義數據源。