創(chuàng)建MongoDB數(shù)據(jù)源
通過創(chuàng)建MongoDB數(shù)據(jù)源能夠?qū)崿F(xiàn)Dataphin讀取MongoDB的業(yè)務(wù)數(shù)據(jù)或向MongoDB寫入數(shù)據(jù)。本文為您介紹如何創(chuàng)建MongoDB數(shù)據(jù)源。
前提條件
若您需在Dataphin中創(chuàng)建基于阿里云產(chǎn)品的數(shù)據(jù)源,創(chuàng)建數(shù)據(jù)源前,需確保Dataphin的IP已添加至數(shù)據(jù)庫(kù)白名單(或安全組)中,使數(shù)據(jù)源與Dataphin網(wǎng)絡(luò)互通。具體操作,請(qǐng)參見數(shù)據(jù)源白名單配置。
背景信息
MongoDB是一款開源的文檔型數(shù)據(jù)庫(kù),它以動(dòng)態(tài)的模式存儲(chǔ)類似JSON的BSON文檔,能夠處理大量的非結(jié)構(gòu)化數(shù)據(jù)。其特點(diǎn)包括靈活的數(shù)據(jù)模型、高效的索引機(jī)制、支持?jǐn)?shù)據(jù)復(fù)制和分片,以及易于使用的API。MongoDB適用于需要快速迭代和存儲(chǔ)多樣化數(shù)據(jù)格式的應(yīng)用場(chǎng)景。
如果您使用的是MongoDB,在引入MongoDB的業(yè)務(wù)數(shù)據(jù)至Dataphin中或?qū)ataphin數(shù)據(jù)導(dǎo)出至MongoDB的場(chǎng)景中,您需要先完成MongoDB數(shù)據(jù)源的創(chuàng)建。更多阿里云MongoDB信息,請(qǐng)參見云數(shù)據(jù)庫(kù)MongoDB-什么是云數(shù)據(jù)庫(kù)MongoDB版。
權(quán)限說(shuō)明
僅支持擁有新建數(shù)據(jù)源權(quán)限點(diǎn)的自定義全局角色和超級(jí)管理員、數(shù)據(jù)源管理員、板塊架構(gòu)師、項(xiàng)目管理員系統(tǒng)角色創(chuàng)建數(shù)據(jù)源。
操作步驟
在Dataphin首頁(yè)的頂部菜單欄中,選擇管理中心 > 數(shù)據(jù)源管理。
在數(shù)據(jù)源頁(yè)面,單擊+新建數(shù)據(jù)源。
在新建數(shù)據(jù)源對(duì)話框的NoSQL區(qū)域,選擇MongoDB。
如果您最近使用過MongoDB,也可以在最近使用區(qū)域選擇MongoDB。同時(shí),您也可以在搜索框中,輸入MongoDB的關(guān)鍵詞,快速篩選。
在新建MongoDB數(shù)據(jù)源對(duì)話框中,配置連接數(shù)據(jù)源參數(shù)。
配置數(shù)據(jù)源的基本信息。
參數(shù)
描述
數(shù)據(jù)源名稱
命名規(guī)則如下:
只能包含中文、英文字母大小寫、數(shù)字、下劃線(_)或短劃線(-)。
長(zhǎng)度不能超過64字符。
數(shù)據(jù)源編碼
配置數(shù)據(jù)源編碼后,您可以在Flink_SQL任務(wù)中通過
數(shù)據(jù)源編碼.表名稱
或數(shù)據(jù)源編碼.schema.表名稱
的格式引用數(shù)據(jù)源中的表;如果需要根據(jù)所處環(huán)境自動(dòng)訪問對(duì)應(yīng)環(huán)境的數(shù)據(jù)源,請(qǐng)通過${數(shù)據(jù)源編碼}.table
或${數(shù)據(jù)源編碼}.schema.table
的變量格式訪問。更多信息,請(qǐng)參見Flink_SQL任務(wù)開發(fā)方式。重要目前僅支持MySQL、Hologres、MaxCompute數(shù)據(jù)源。
數(shù)據(jù)源編碼配置成功后不支持修改。
版本
支持MongoDB3.2和MongoDB3.4+版本。
數(shù)據(jù)源描述
對(duì)數(shù)據(jù)源的簡(jiǎn)單描述。不超過128字符。
數(shù)據(jù)源配置
選擇需要配置的數(shù)據(jù)源:
如果業(yè)務(wù)數(shù)據(jù)源區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)+開發(fā)數(shù)據(jù)源。
如果業(yè)務(wù)數(shù)據(jù)源不區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)數(shù)據(jù)源。
標(biāo)簽
您可根據(jù)標(biāo)簽給數(shù)據(jù)源進(jìn)行分類打標(biāo),如何創(chuàng)建標(biāo)簽,請(qǐng)參見管理數(shù)據(jù)源標(biāo)簽。
配置數(shù)據(jù)源與Dataphin的連接參數(shù)。
當(dāng)上述步驟中選擇了生產(chǎn)+開發(fā)數(shù)據(jù)源,則配置頁(yè)面如下圖所示。如果上述步驟中您選擇了生產(chǎn)數(shù)據(jù)源,則僅展示生產(chǎn)數(shù)據(jù)源的配置頁(yè)面。
說(shuō)明通常情況下,生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源需配置為非同一個(gè)數(shù)據(jù)源,以實(shí)現(xiàn)開發(fā)數(shù)據(jù)源與生產(chǎn)數(shù)據(jù)源的環(huán)境隔離,降低開發(fā)數(shù)據(jù)源對(duì)生產(chǎn)數(shù)據(jù)源的影響。但Dataphin也支持配置成同一個(gè)數(shù)據(jù)源,即相同參數(shù)值。
參數(shù)
描述
JDBC URL
支持多副本模式,可配置多個(gè)地址。連接地址格式為
mongodb://host1:port1;host2:port2...
。說(shuō)明JDBC URL地址支持?jǐn)y帶authSource參數(shù)。
以阿里云MongoDB為例,您可以在MongoDB控制臺(tái)的實(shí)例基本信息頁(yè)面,查看連接地址和端口信息。
登錄方式
支持用戶名登錄和匿名登錄。
用戶名、密碼
登錄方式為用戶名登錄時(shí),需填寫登錄MongoDB實(shí)例的用戶名和密碼。
單擊測(cè)試連接,測(cè)試數(shù)據(jù)源是否可以和Dataphin進(jìn)行正常的連通。
完成數(shù)據(jù)源的上述信息配置后,您可以單擊操作列的測(cè)試連接針對(duì)公共調(diào)度集群或已經(jīng)在Dataphin注冊(cè)且正常使用的自定義集群進(jìn)行連接測(cè)試。公共調(diào)度集群為系統(tǒng)默認(rèn)選中,不支持取消選中。自定義集群下不存在資源組時(shí),不支持進(jìn)行連接測(cè)試,需先創(chuàng)建資源組后再進(jìn)行測(cè)試連接。
所選集群只用于測(cè)試與當(dāng)前數(shù)據(jù)源的網(wǎng)絡(luò)連通,不用于后續(xù)相關(guān)任務(wù)的運(yùn)行。
測(cè)試連接時(shí)長(zhǎng)通常在2分鐘內(nèi),若超時(shí),您可以單擊圖標(biāo)查看具體原因并重試。
無(wú)論測(cè)試結(jié)果為連接失敗、連接成功或成功有風(fēng)險(xiǎn),系統(tǒng)都將為您記錄最終結(jié)果的生成時(shí)間。
測(cè)試結(jié)果為連接失敗時(shí),您可以單擊圖標(biāo)查看具體失敗原因。
測(cè)試結(jié)果為成功有風(fēng)險(xiǎn)時(shí),代表應(yīng)用集群連接成功、調(diào)度集群連接失敗,當(dāng)前數(shù)據(jù)源無(wú)法用于數(shù)據(jù)開發(fā)和集成。您可以單擊圖標(biāo)查看日志信息。
說(shuō)明僅公共調(diào)度集群的測(cè)試結(jié)果包含成功有風(fēng)險(xiǎn)、連接成功、連接失敗三種連接狀態(tài);在Dataphin注冊(cè)的自定義集群的測(cè)試結(jié)果僅包含連接成功、連接失敗兩種連接狀態(tài)。
請(qǐng)確保至少存在一個(gè)集群可以與數(shù)據(jù)源連通,否則不支持保存數(shù)據(jù)源信息。
重要如果連接測(cè)試失敗,您可以根據(jù)網(wǎng)絡(luò)連通常見問題進(jìn)行排查。詳細(xì)內(nèi)容,請(qǐng)參見網(wǎng)絡(luò)連通解決方案。
測(cè)試成功后,單擊確定,完成MongoDB數(shù)據(jù)源的創(chuàng)建。