通過創建Doris數據源能夠實現Dataphin讀取Doris的業務數據或向Doris寫入數據。本文為您介紹如何創建Doris數據源。
背景信息
Doris即Apache Doris,是一個基于MPP架構的高性能、實時的分析型數據庫,僅需亞秒級響應時間即可返回海量數據下的查詢結果,不僅可以支持高并發的點查詢場景,也能支持高吞吐的復雜分析場景?;诖?,能夠較好的滿足報表分析、即席查詢、統一數倉構建、數據湖聯邦查詢加速等使用場景。更多信息,請參見Doris官網。
權限說明
僅支持具備新建數據源權限點的自定義全局角色和超級管理員、數據源管理員、板塊架構師、項目管理員角色創建數據源。
操作步驟
在Dataphin首頁,單擊頂部菜單欄管理中心 > 數據源管理。
在數據源頁面,單擊+新建數據源。
在新建數據源對話框的大數據存儲區域,選擇Doris。
如果您最近使用過Doris,也可以在最近使用區域選擇Doris。同時,您也可以在搜索框中,輸入Doris的關鍵詞,快速篩選。
在新建Doris數據源對話框中,配置連接數據源參數。
配置數據源的基本信息。
參數
描述
數據源名稱
命名規則如下:
只能包含中文、英文字母大小寫、數字、下劃線(_)或短劃線(-)。
長度不能超過64字符。
數據源編碼
配置數據源編碼后,您可以在Flink_SQL任務中通過
數據源編碼.表名稱
或數據源編碼.schema.表名稱
的格式引用數據源中的表;如果需要根據所處環境自動訪問對應環境的數據源,請通過${數據源編碼}.table
或${數據源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務開發方式。重要目前僅支持MySQL、Hologres、MaxCompute數據源。
數據源編碼配置成功后不支持修改。
數據源描述
對Doris數據源的簡單描述。不得超過128個字符。
數據源配置
基于業務數據源是否區分生產數據源和開發數據源:
如果業務數據源區分生產數據源和開發數據源,則選擇生產+開發數據源。
如果業務數據源不區分生產數據源和開發數據源,則選擇生產數據源。
標簽
您可根據標簽給數據源進行分類打標,如何創建標簽,請參見管理數據源標簽。
配置數據源與Dataphin的連接參數。
若您的數據源配置選擇生產+開發數據源,則需配置生產+開發數據源的連接信息。如果您的數據源配置為生產數據源,僅需配置生產數據源的連接信息。
說明通常情況下,生產數據源和開發數據源需配置為非同一個數據源,以實現開發數據源與生產數據源的環境隔離,降低開發數據源對生產數據源的影響。但Dataphin也支持配置成同一個數據源,即相同參數值。
參數
描述
JDBC URL
請填寫數據源的鏈接地址。連接地址格式為:
jdbc:mysql://host:port/dbname
。用戶名、密碼
登錄Doris數據源的用戶名和密碼。
FE節點URL
填寫FE節點的連接地址,用于通過Web服務器訪問FE節點。連接地址格式為:
host:post
。配置數據源的高級設置。
參數
描述
connectTimeout
數據庫的connectTimeout時長(單位:毫秒),默認900000毫秒(15分鐘)。
說明若您在JDBC URL中帶有connectTimeout配置,則connectTimeout為JDBC URL中配置的超時時間。
Dataphin V3.11版本之前的創建數據源,connectTimeout默認為
-1
,表示無超時限制。
socketTimeout
數據庫的socketTimeout時長(單位:毫秒),默認1800000毫秒(30分鐘)。
說明若您在JDBC URL中帶有socketTimeout配置,則socketTimeout為JDBC URL中配置的超時時間。
Dataphin V3.11版本之前的創建數據源,socketTimeout默認為
-1
,表示無超時限制。
連接重試次數
數據庫連接超時,將自動重試連接直到完成設定的重試次數。若達最大重試次數仍未連接成功,則連接失敗。
說明默認重試次數為1次,支持配置0~10之間參數。
連接重試次數將默認應用于離線集成任務與全域質量(需開通資產質量功能模塊),離線集成任務中支持單獨配置任務級別的重試次數
單擊測試連接,測試數據源是否可以和Dataphin進行正常的連通。
重要如果連接測試失敗,您可以根據網絡連通常見問題進行排查。詳細內容,請參見網絡連通解決方案。
測試成功后,單擊確定,完成Doris數據源的創建。