EMR Workflow的數據源中心支持配置數據源,以滿足不同的數據存儲和訪問需求。本文為您介紹如何創建、編輯和刪除數據源。
使用限制
數據源所在的集群和運行工作流時選擇的集群需要在同一VPC下。
創建數據源
進入數據源中心頁面。
使用阿里云賬號(主賬號)或RAM用戶登錄E-MapReduce控制臺。
在左側導航欄,選擇EMR Workbench > Workflow。
在Workflow頁面,單擊目標工作空間操作列的控制臺。
單擊上方的數據源中心頁簽。
在數據源中心頁面,單擊創建數據源。
在彈出的對話框中,設置相關參數。
HIVE/IMPALA數據源
參數
是否必選參數
說明
數據源
是
數據源類型。
數據源名稱
是
輸入數據源的名稱。
描述
否
輸入數據源的描述。
IP主機名
是
輸入連接HIVE/IMPALA的IP地址。
端口
是
HIVE/IMPALA數據源類型對應的端口為10000。
用戶名
是
設置連接HIVE/IMPALA的用戶名。
密碼
否
設置連接HIVE/IMPALA的密碼。
數據庫名
是
輸入連接HIVE/IMPALA的數據庫名稱。
jdbc連接參數
否
用于數據源連接的參數設置。格式為
{"key1":"value1","key2":"value2"...}
。測試連通性
否
添加數據源時支持使用調度資源組測試連通性。
說明如果工作流中使用了該數據源,需要確保數據源和調度資源組之間是可以連通的。
僅支持測試數據源與默認資源組、集群資源組之間的連通性。
PRESTO數據源
參數
是否必選參數
說明
數據源
是
數據源類型。
數據源名稱
是
輸入數據源的名稱。
描述
否
輸入數據源的描述。
IP主機名
是
輸入連接數據源的IP地址。
端口
是
PRESTO數據源類型對應的端口為22。
用戶名
是
設置連接PRESTO的用戶名。
密碼
否
設置連接PRESTO的密碼。
Catalog
否
輸入連接PRESTO的Catalog名稱。
數據庫名
是
輸入連接PRESTO的數據庫名稱。
jdbc連接參數
否
用于數據源連接的參數設置。格式為
{"key1":"value1","key2":"value2"...}
。測試連通性
否
添加數據源時支持使用調度資源組測試連通性。
說明如果工作流中使用了該數據源,需要確保數據源和調度資源組之間是可以連通的。
僅支持測試數據源與默認資源組、集群資源組之間的連通性。
DORIS數據源
參數
是否必選參數
說明
數據源
是
數據源類型。
數據源名稱
是
輸入數據源的名稱。
描述
否
輸入數據源的描述。
IP主機名
是
輸入連接DORIS的IP地址。
端口
是
DORIS數據源類型對應的端口為9030。
用戶名
是
設置連接DORIS的用戶名。
密碼
否
設置連接DORIS的密碼。
FE Endpoint
否
輸入FE節點的IP地址和端口。格式為
ip:port
,多個IP和端口之前以英文逗號分隔。數據庫名
是
輸入連接DORIS的數據庫名稱。
jdbc連接參數
否
用于DORIS連接的參數設置。格式為
{"key1":"value1","key2":"value2"...}
。測試連通性
否
添加數據源時支持使用調度資源組測試連通性。
說明如果工作流中使用了該數據源,需要確保數據源和調度資源組之間是可以連通的。
僅支持測試數據源與默認資源組、集群資源組之間的連通性。
SSH數據源
參數
是否必選參數
說明
數據源
是
數據源類型。
數據源名稱
是
輸入數據源的名稱。
描述
否
輸入數據源的描述。
IP主機名
是
輸入連接SSH的IP地址。
端口
是
SSH數據源類型對應的端口為22。
用戶名
是
設置連接SSH的用戶名。
密碼
否
設置連接SSH的密碼。
PrivateKey
否
設置連接SSH的私鑰。
測試連通性
否
添加數據源時支持使用調度資源組測試連通性。
說明如果工作流中使用了該數據源,需要確保數據源和調度資源組之間是可以連通的。
僅支持測試數據源與默認資源組、集群資源組之間的連通性。
StarRocks數據源
參數
是否必選參數
說明
數據源
是
數據源類型。
數據源名稱
是
輸入數據源的名稱。
描述
否
輸入數據源的描述。
IP主機名
是
輸入連接StarRocks的IP地址。
端口
是
StarRocks數據源類型對應的端口為9030。
用戶名
是
設置連接StarRocks的用戶名。
密碼
否
設置連接StarRocks的密碼。
FE Endpoint
否
輸入FE節點的IP地址和端口。格式為
ip:port
,如果配置多個FE節點的IP和端口,每個IP和端口以逗號分隔,例如ip1:port1,ip2:port2
。數據庫名
是
輸入連接StarRocks的數據庫名稱。
jdbc連接參數
否
用于StarRocks連接的參數設置。格式為
{"key1":"value1","key2":"value2"...}
。測試連通性
否
添加數據源時支持使用調度資源組測試連通性。
說明如果工作流中使用了該數據源,需要確保數據源和調度資源組之間是可以連通的。
僅支持測試數據源與默認資源組、集群資源組之間的連通性。
單擊確定。