通過創建StarRocks數據源能夠實現Dataphin讀取StarRocks的業務數據或向StarRocks寫入數據。本文為您介紹如何創建StarRocks數據源。
背景信息
StarRocks是一款高性能分析數據庫,支持實時、多維和高度并發的數據分析。StarRocks具有高度可擴展性、可用性且易于維護。它在OLAP場景提供多種支持,例如實時分析、即席查詢、數據湖分析等。更多詳情可參考StarRocks官網。
權限說明
僅支持擁有新建數據源權限點的自定義全局角色和超級管理員、數據源管理員、板塊架構師、項目管理員系統角色創建數據源。
操作步驟
在Dataphin首頁的頂部菜單欄中,選擇管理中心 > 數據源管理。
在數據源頁面,單擊+新建數據源。
在新建數據源對話框的關系型數據庫區域,選擇StarRocks。
如果您最近使用過StarRocks,也可以在最近使用區域選擇StarRocks。同時,您也可以在搜索框中,輸入StarRocks的關鍵詞,快速篩選。
在新建StarRocks數據源對話框中,配置連接數據源參數。
配置數據源的基本信息
參數
描述
數據源名稱
命名規則如下:
只能包含中文、英文字母大小寫、數字、下劃線(_)或短劃線(-)。
長度不能超過64字符。
數據源編碼
配置數據源編碼后,可在Flink_SQL任務中通過
數據源編碼.table
或數據源編碼.schema.table
的格式引用數據源中的表;如果需要根據所處環境自動訪問對應環境的數據源,請通過${數據源編碼}.table
或${數據源編碼}.schema.table
的格式訪問。重要目前僅支持MySQL、Hologres、MaxCompute數據源。
數據源描述
對數據源的簡單描述。不得超過128個字符。
數據源配置
選擇需要配置的數據源:
如果業務數據源區分生產數據源和開發數據源,則選擇生產+開發數據源。
如果業務數據源不區分生產數據源和開發數據源,則選擇生產數據源
標簽
您可根據標簽給數據源進行分類打標,如何創建標簽,請參見管理數據源標簽。
配置數據源與Datahpin的連接參數
若您的數據源配置選擇生產+開發數據源,則需配置生產+開發數據源的連接信息。如果您的數據源配置為生產數據源,僅需配置生產數據源的連接信息。
說明通常情況下,生產數據源和開發數據源需配置為非同一個數據源,以實現開發數據源與生產數據源的環境隔離,降低開發數據源對生產數據源的影響。但Dataphin也支持配置成同一個數據源,即相同參數值。
參數
描述
JDBC URL
StarRocks的JDBC URL格式為:
jdbc:mysql://host:port/dbname
Load URL
FE(Front End)的Host和HTTP端口,格式為
fe_host:http_port,fe_host:http_port
。用戶名、密碼
登錄數據庫的用戶名和密碼。
配置數據源的高級設置。
參數
描述
connectTimeout
數據庫的connectTimeout時長(單位:毫秒),默認900000毫秒(15分鐘)。
說明若您在JDBC URL中帶有connectTimeout配置,則connectTimeout為JDBC URL中配置的超時時間。
Dataphin V3.11版本之前的創建數據源,connectTimeout默認為
-1
,表示無超時限制。
socketTimeout
數據庫的socketTimeout時長(單位:毫秒),默認1800000毫秒(30分鐘)。
說明若您在JDBC URL中帶有socketTimeout配置,則socketTimeout為JDBC URL中配置的超時時間。
Dataphin V3.11版本之前的創建數據源,socketTimeout默認為
-1
,表示無超時限制。
連接重試次數
數據庫連接超時,將自動重試連接直到完成設定的重試次數。若達最大重試次數仍未連接成功,則連接失敗。
說明默認重試次數為1次,支持配置0~10之間參數。
連接重試次數將默認應用于離線集成任務與全域質量(需開通資產質量功能模塊),離線集成任務中支持單獨配置任務級別的重試次數。
單擊測試連接,測試數據源是否可以和Dataphin進行正常的連通。
完成數據源的上述信息配置后,您可以單擊操作列的測試連接針對公共調度集群或已經在Dataphin注冊且正常使用的自定義集群進行連接測試。公共調度集群為系統默認選中,不支持取消選中。自定義集群下不存在資源組時,不支持進行連接測試,需先創建資源組后再進行測試連接。
所選集群只用于測試與當前數據源的網絡連通,不用于后續相關任務的運行。
測試連接時長通常在2分鐘內,若超時,您可以單擊圖標查看具體原因并重試。
無論測試結果為連接失敗、連接成功或成功有風險,系統都將為您記錄最終結果的生成時間。
測試結果為連接失敗時,您可以單擊圖標查看具體失敗原因。
測試結果為成功有風險時,代表應用集群連接成功、調度集群連接失敗,當前數據源無法用于數據開發和集成。您可以單擊圖標查看日志信息。
說明僅公共調度集群的測試結果包含成功有風險、連接成功、連接失敗三種連接狀態;在Dataphin注冊的自定義集群的測試結果僅包含連接成功、連接失敗兩種連接狀態。
請確保至少存在一個集群可以與數據源連通,否則不支持保存數據源信息。
重要如果連接測試失敗,您可以根據網絡連通常見問題進行排查。詳細內容,請參見網絡連通解決方案。
測試成功后,單擊確定,完成StarRocks數據源的創建。