通過創建AnalyticDB for PostgreSQL數據源,可以實現Dataphin讀取AnalyticDB for PostgreSQL的業務數據或向AnalyticDB for PostgreSQL寫入數據。本文為您介紹如何創建AnalyticDB for PostgreSQL數據源。
前提條件
若您需在Dataphin中創建基于阿里云產品的數據源,創建數據源前,需確保Dataphin的IP已添加至數據庫白名單(或安全組)中,使數據源與Dataphin網絡互通。具體操作,請參見數據源白名單配置。
背景信息
AnalyticDB for PostgreSQL即阿里云的云原生數倉AnalyticDB PostgreSQL,是一款兼容ANSI SQL 2003、兼容PostgreSQL/Oracle數據庫生態的MPP數據庫。它具備完整的事務處理、高吞吐寫入和流批一體引擎,通過全自研計算引擎及行列混合存儲提供高性能數據處理和在線分析能力。如果您使用的是云原生數倉AnalyticDB PostgreSQL,在對接Dataphin進行數據開發時,您需要先完成AnalyticDB for PostgreSQL數據源的創建。
權限說明
僅支持擁有新建數據源權限點的自定義全局角色和超級管理員、數據源管理員、板塊架構師、項目管理員系統角色創建數據源。
操作步驟
在Dataphin首頁的頂部菜單欄中,選擇管理中心 > 數據源管理。
在數據源頁面,單擊+新建數據源。
在新建數據源對話框的關系型數據庫區域,選擇AnalyticDB for PostgreSQL。
如果您最近使用過AnalyticDB for PostgreSQL,也可以在最近使用區域選擇AnalyticDB for PostgreSQL。同時,您也可以在搜索框中,輸入AnalyticDB for PostgreSQL的關鍵詞,快速搜索。
在新建AnalyticDB for PostgreSQL數據源對話框中,配置連接數據源參數。
配置數據源的基本信息。
參數
描述
數據源名稱
命名規則如下:
只能包含中文、英文字母大小寫、數字、下劃線(_)或短劃線(-)。
長度不能超過64個字符。
數據源編碼
配置數據源編碼后,您可以在Flink_SQL任務中通過
數據源編碼.表名稱
或數據源編碼.schema.表名稱
的格式引用數據源中的表;如果需要根據所處環境自動訪問對應環境的數據源,請通過${數據源編碼}.table
或${數據源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務開發方式。重要數據源編碼配置成功后不支持修改。
數據源描述
對數據源的簡單描述。不得超過128個字符。
數據源配置
選擇需要配置的數據源:
如果業務數據源區分生產數據源和開發數據源,則選擇生產+開發數據源。
如果業務數據源不區分生產數據源和開發數據源,則選擇生產數據源。
標簽
您可根據標簽給數據源進行分類打標,如何創建標簽,請參見管理數據源標簽。
配置數據源與Dataphin的連接參數。
若您的數據源配置選擇生產+開發數據源,則需配置生產+開發數據源的連接信息。如果您的數據源配置為生產數據源,僅需配置生產數據源的連接信息。
說明通常情況下,生產數據源和開發數據源需配置為非同一個數據源,以實現開發數據源與生產數據源的環境隔離,降低開發數據源對生產數據源的影響。但Dataphin也支持配置成同一個數據源,即相同參數值。
配置方式可選擇JDBC URL或主機兩種方式,默認選擇為JDBC URL。
JDBC URL配置方式
參數
描述
JDBC URL
支持配置一個或多個IP,多個IP地址之間使用英文逗號(,)隔開。
Schema
填寫與用戶名相關聯的Schema。
用戶名、密碼
數據庫的用戶名和密碼。
訪問方式
選擇對應的訪問方式:
數據源所在網絡環境為公網,則訪問方式選擇為公網IP。
數據源所在網絡環境為阿里云VPC網絡,則訪問方式選擇為VPC網絡。VPC網絡訪問數據庫需配置以下信息:
區域:數據庫所在Region。僅支持與Dataphin實例相同區域的數據庫。如您的Dataphin實例位于華東2(上海),僅支持選擇華東2(上海)區域。
VPC ID:填寫數據庫所在VPC網絡的VPC ID。
集群 ID:填寫AnalyticDB for PostgreSQL集群ID。
在云數據倉庫AnalyticDB PostgreSQL實例列表頁面,查看實例ID和VPC ID。
主機配置方式
主機配置方式
參數
描述
服務器地址
輸入服務器的IP地址和端口號。
支持單擊+新增來添加多組IP地址和端口號,單擊圖標刪除多余的IP地址和端口號,但需至少保留一組。
dbname
輸入數據庫名稱。
參數配置
參數
描述
參數
參數名稱:僅支持選擇已有參數名稱。
參數值:當已選擇參數名稱時,參數值為必填。僅支持英文字母大小寫、數字、半角句號(.)、下劃線(_)和短劃線(-),長度不超過256個字符。
說明支持通過單擊+添加參數新增多個參數,單擊圖標刪除多余參數,至多可添加30個參數。
Schema(非必填)
輸入指定讀取的Schema信息。支持跨Schema選表,請選擇表所在的Schema,如不指定則默認為數據源中配置的schema。
用戶名、密碼
輸入數據庫的用戶名和密碼。
說明當配置方式選擇為主機并完成新建數據源后,若需要切換為JDBC URL配置方式,系統會將服務器的IP地址和端口號拼接為JDBC URL進行填充。
配置數據源的高級設置。
參數
描述
connectTimeout
數據庫的connectTimeout時長(單位:秒),默認900秒(15分鐘)。
說明若您在JDBC URL中帶有connectTimeout配置,則connectTimeout為JDBC URL中配置的超時時間。
Dataphin V3.11版本之前的創建數據源,connectTimeout默認為
-1
,表示無超時限制。
socketTimeout
數據庫的socketTimeout時長(單位:秒),默認1800秒(30分鐘)。
說明若您在JDBC URL中帶有socketTimeout配置,則socketTimeout為JDBC URL中配置的超時時間。
Dataphin V3.11版本之前的創建數據源,socketTimeout默認為
-1
,表示無超時限制。
連接重試次數
數據庫連接超時,將自動重試連接直到完成設定的重試次數。若達到最大重試次數仍未連接成功,則連接失敗。
說明默認重試次數為1次,支持配置0~10之間參數。
連接重試次數將默認應用于離線集成任務與全域質量(需開通資產質量功能模塊),離線集成任務中支持單獨配置任務級別的重試次數。
說明重復參數的取值規則:
若某一參數同時存在于JDBC URL、高級設置的參數和主機配置方式的參數配置中時,則以JDBC URL中該參數的取值為準。
若某一參數同時存在于JDBC URL和高級設置的參數中時,則以JDBC URL中該參數的取值為準。
若某一參數同時存在于高級設置的參數和主機配置方式的參數配置中時,則以高級設置的參數配置中該參數的取值為準。
單擊測試連接,測試數據源是否可以和Dataphin進行正常的連通。
重要如果連接測試失敗,您可以根據網絡連通常見問題進行排查。詳細內容,請參見網絡連通解決方案。
測試成功后,單擊確定,完成AnalyticDB for PostgreSQL數據源的創建。