創(chuàng)建Elasticsearch數(shù)據(jù)源
通過創(chuàng)建Elasticsearch數(shù)據(jù)源能夠?qū)崿F(xiàn)Dataphin向Elasticsearch寫入數(shù)據(jù)。本文為您介紹如何創(chuàng)建Elasticsearch數(shù)據(jù)源。
背景信息
阿里云Elasticsearch是基于開源Elasticsearch構(gòu)建的全托管Elasticsearch云服務(wù)，被廣泛應(yīng)用于實(shí)時(shí)日志分析處理、信息檢索、以及數(shù)據(jù)的多維查詢和統(tǒng)計(jì)分析等場(chǎng)景。
如果您使用的是阿里云Elasticsearch，在將Dataphin數(shù)據(jù)導(dǎo)出至Elasticsearch場(chǎng)景中，您需要先完成Elasticsearch數(shù)據(jù)源的創(chuàng)建。更多信息，請(qǐng)參見什么是阿里云Elasticsearch。
使用限制
若您需在Dataphin中創(chuàng)建基于阿里云產(chǎn)品的數(shù)據(jù)源，創(chuàng)建數(shù)據(jù)源前，需確保Dataphin的IP已添加至數(shù)據(jù)庫(kù)白名單（或安全組）中，使數(shù)據(jù)源與Dataphin網(wǎng)絡(luò)互通。具體操作，請(qǐng)參見數(shù)據(jù)源白名單配置。
權(quán)限說(shuō)明
僅支持擁有新建數(shù)據(jù)源權(quán)限點(diǎn)的自定義全局角色和超級(jí)管理員、數(shù)據(jù)源管理員、板塊架構(gòu)師、項(xiàng)目管理員系統(tǒng)角色創(chuàng)建數(shù)據(jù)源。
操作步驟
在Dataphin首頁(yè)，單擊頂部菜單欄的管理中心 > 數(shù)據(jù)源管理。
在數(shù)據(jù)源頁(yè)面，單擊+新建數(shù)據(jù)源。
在新建數(shù)據(jù)源對(duì)話框的NoSQL區(qū)域，選擇Elasticsearch。
如果您最近使用過Elasticsearch，也可以在最近使用區(qū)域選擇Elasticsearch。同時(shí)，您也可以在搜索框中，輸入Elasticsearch的關(guān)鍵詞，快速篩選。
在新建Elasticsearch數(shù)據(jù)源對(duì)話框中，配置連接數(shù)據(jù)源參數(shù)。
配置數(shù)據(jù)源的基本信息。
參數(shù)
說(shuō)明
數(shù)據(jù)源名稱
填寫數(shù)據(jù)源名稱。命名規(guī)則如下：
只能包含中文、英文字母大小寫、數(shù)字、下劃線（_）或短劃線（-）。
長(zhǎng)度不能超過64個(gè)字符。
數(shù)據(jù)源編碼
配置數(shù)據(jù)源編碼后，您可以在Flink_SQL任務(wù)或使用Dataphin JDBC客戶端中，通過
數(shù)據(jù)源編碼.表名稱或數(shù)據(jù)源編碼.schema.表名稱的格式直接訪問Dataphin數(shù)據(jù)源表，實(shí)現(xiàn)快捷消費(fèi)；如果需要根據(jù)任務(wù)執(zhí)行環(huán)境自動(dòng)切換數(shù)據(jù)源，請(qǐng)通過${數(shù)據(jù)源編碼}.table或${數(shù)據(jù)源編碼}.schema.table的變量格式訪問。更多信息，請(qǐng)參見Flink_SQL任務(wù)開發(fā)方式。重要數(shù)據(jù)源編碼配置成功后不支持修改。
版本
支持Elasticsearch 6.x、Elasticsearch 7.x和Elasticsearch 8.x版本。
數(shù)據(jù)源描述
對(duì)數(shù)據(jù)源的簡(jiǎn)單描述，不超過128個(gè)字符。
數(shù)據(jù)源配置
選擇需要配置的數(shù)據(jù)源：
如果業(yè)務(wù)數(shù)據(jù)源區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源，則選擇生產(chǎn)+開發(fā)數(shù)據(jù)源。
如果業(yè)務(wù)數(shù)據(jù)源不區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源，則選擇生產(chǎn)數(shù)據(jù)源。
標(biāo)簽
您可根據(jù)標(biāo)簽給數(shù)據(jù)源進(jìn)行分類打標(biāo)。創(chuàng)建標(biāo)簽，請(qǐng)參見管理數(shù)據(jù)源標(biāo)簽。
配置數(shù)據(jù)源與Dataphin的連接參數(shù)。
當(dāng)上述步驟中選擇了生產(chǎn)+開發(fā)數(shù)據(jù)源，則展示生產(chǎn)+開發(fā)數(shù)據(jù)源的配置頁(yè)面。如果上述步驟中您選擇了生產(chǎn)數(shù)據(jù)源，則僅展示生產(chǎn)數(shù)據(jù)源的配置頁(yè)面。
說(shuō)明通常情況下，生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源需配置為非同一個(gè)數(shù)據(jù)源，以實(shí)現(xiàn)開發(fā)數(shù)據(jù)源與生產(chǎn)數(shù)據(jù)源的環(huán)境隔離，降低開發(fā)數(shù)據(jù)源對(duì)生產(chǎn)數(shù)據(jù)源的影響。但Dataphin也支持配置成同一個(gè)數(shù)據(jù)源，即相同參數(shù)值。
參數(shù)
說(shuō)明
ES URL
Elasticsearch的連接地址，推薦您使用私網(wǎng)連接地址。格式為
http://host:port。例如：http://192.168.*.212:9200。用戶名、密碼
訪問Elasticsearch實(shí)例的用戶名和密碼。
類型
支持公網(wǎng)數(shù)據(jù)庫(kù)、阿里云數(shù)據(jù)庫(kù)與ECS(VPC)自建數(shù)據(jù)庫(kù)，您可根據(jù)您數(shù)據(jù)庫(kù)類型及業(yè)務(wù)情況進(jìn)行選擇與配置：
公網(wǎng)數(shù)據(jù)庫(kù)：通過公網(wǎng)可直接訪問的數(shù)據(jù)庫(kù)。
阿里云數(shù)據(jù)庫(kù)：在阿里云購(gòu)買的數(shù)據(jù)庫(kù)。支持VPC網(wǎng)絡(luò)或公網(wǎng)IP進(jìn)行訪問。VPC網(wǎng)絡(luò)訪問數(shù)據(jù)庫(kù)需配置以下信息：
區(qū)域：數(shù)據(jù)庫(kù)所在Region。僅支持Dataphin實(shí)例相同區(qū)域的數(shù)據(jù)庫(kù)。如您的Dataphin實(shí)例位于華東2（上海），僅支持選擇華東2（上海）區(qū)域。
VPC ID：填寫數(shù)據(jù)庫(kù)所在VPC網(wǎng)絡(luò)的VPC ID。您可登錄專有網(wǎng)絡(luò)控制臺(tái)進(jìn)行查看。如下圖所示：
VPC實(shí)例ID：填寫數(shù)據(jù)庫(kù)的專有網(wǎng)絡(luò)實(shí)例ID，即
vpcInstanceId。您可以通過調(diào)用DescribeDBInstances API進(jìn)行獲取。更多信息，請(qǐng)參見DescribeInstance。
ECS(VPC)自建數(shù)據(jù)庫(kù)：您在阿里云ECS上自建的數(shù)據(jù)庫(kù)。支持VPC方式訪問。VPC網(wǎng)絡(luò)訪問數(shù)據(jù)庫(kù)需配置以下信息：
區(qū)域：據(jù)庫(kù)所在Region。僅支持Dataphin實(shí)例相同區(qū)域的數(shù)據(jù)庫(kù)。如您的Dataphin實(shí)例位于華東2（上海），僅支持選擇華東2（上海）區(qū)域。
VPC ID：填寫ECS所在VPC網(wǎng)絡(luò)的VPCD。您可登錄專有網(wǎng)絡(luò)控制臺(tái)進(jìn)行查看。如下圖所示：
ECS ID：填寫部署數(shù)據(jù)庫(kù)的ECS服務(wù)器的ECS ID。您可登錄ECS控制臺(tái)進(jìn)行查看。如下圖所示：
單擊測(cè)試連接，測(cè)試數(shù)據(jù)源是否可以和Dataphin進(jìn)行正常的連通。
重要如果連接測(cè)試失敗，您可以根據(jù)網(wǎng)絡(luò)連通常見問題進(jìn)行排查。詳細(xì)內(nèi)容，請(qǐng)參見網(wǎng)絡(luò)連通解決方案。
測(cè)試成功后，單擊確定，完成Elasticsearch數(shù)據(jù)源的創(chuàng)建。