創(chuàng)建RocketMQ數(shù)據(jù)源
通過創(chuàng)建RocketMQ數(shù)據(jù)源能夠?qū)崿F(xiàn)Dataphin讀取RocketMQ的業(yè)務(wù)數(shù)據(jù)或向RocketMQ寫入數(shù)據(jù)。本文為您介紹如何創(chuàng)建RocketMQ數(shù)據(jù)源。
背景信息
RocketMQ即阿里云消息隊列RocketMQ版,是阿里云基于Apache RocketMQ構(gòu)建的低延遲、高并發(fā)、高可用、高可靠的分布式“消息、事件、流”統(tǒng)一處理平臺。如果您使用的是阿里云消息隊列RocketMQ版,在對接Dataphin進行數(shù)據(jù)開發(fā)時,您需要先完成RocketMQ數(shù)據(jù)源的創(chuàng)建。更多阿里云消息隊列RocketMQ版信息,請參見什么是消息隊列RocketMQ版。
權(quán)限說明
僅支持擁有新建數(shù)據(jù)源權(quán)限點的自定義全局角色和超級管理員、數(shù)據(jù)源管理員、板塊架構(gòu)師、項目管理員系統(tǒng)角色創(chuàng)建數(shù)據(jù)源。
操作步驟
在Dataphin首頁,單擊頂部菜單欄管理中心 > 數(shù)據(jù)源管理。
在數(shù)據(jù)源頁面,單擊+新建數(shù)據(jù)源。
在新建數(shù)據(jù)源對話框的消息隊列區(qū)域,選擇RocketMQ。
如果您最近使用過RocketMQ,也可以在最近使用區(qū)域選擇RocketMQ。同時,您也可以在搜索框中,輸入RocketMQ的關(guān)鍵詞,快速篩選。
在新建RocketMQ數(shù)據(jù)源對話框中,配置連接數(shù)據(jù)源參數(shù)。
配置數(shù)據(jù)源的基本信息。
參數(shù)
描述
數(shù)據(jù)源名稱
命名規(guī)則如下:
只能包含中文、英文字母大小寫、數(shù)字、下劃線(_)或短劃線(-)。
長度不能超過64字符。
數(shù)據(jù)源編碼
配置數(shù)據(jù)源編碼后,您可以在Flink_SQL任務(wù)中通過
數(shù)據(jù)源編碼.表名稱
或數(shù)據(jù)源編碼.schema.表名稱
的格式引用數(shù)據(jù)源中的表;如果需要根據(jù)所處環(huán)境自動訪問對應(yīng)環(huán)境的數(shù)據(jù)源,請通過${數(shù)據(jù)源編碼}.table
或${數(shù)據(jù)源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務(wù)開發(fā)方式。重要目前僅支持MySQL、Hologres、MaxCompute數(shù)據(jù)源。
數(shù)據(jù)源編碼配置成功后不支持修改。
數(shù)據(jù)源描述
對數(shù)據(jù)源的簡單描述。不得超過128個字符。
數(shù)據(jù)源配置
選擇需要配置的數(shù)據(jù)源:
如果業(yè)務(wù)數(shù)據(jù)源區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)+開發(fā)數(shù)據(jù)源。
如果業(yè)務(wù)數(shù)據(jù)源不區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)數(shù)據(jù)源。
配置數(shù)據(jù)源與Dataphin的連接參數(shù)。
若您的數(shù)據(jù)源配置選擇生產(chǎn)+開發(fā)數(shù)據(jù)源,則需配置生產(chǎn)+開發(fā)數(shù)據(jù)源的連接信息。如果您的數(shù)據(jù)源配置為生產(chǎn)數(shù)據(jù)源,僅需配置生產(chǎn)數(shù)據(jù)源的連接信息。
說明通常情況下,生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源需配置為非同一個數(shù)據(jù)源,以實現(xiàn)開發(fā)數(shù)據(jù)源與生產(chǎn)數(shù)據(jù)源的環(huán)境隔離,降低開發(fā)數(shù)據(jù)源對生產(chǎn)數(shù)據(jù)源的影響。但Dataphin也支持配置成同一個數(shù)據(jù)源,即相同參數(shù)值。
參數(shù)
描述
Endpoint
RocketMQ實例的Endpoint。您可以在消息隊列RocketMQ版控制臺的實例詳情頁面,查看Endpoint。建議您選擇TCP協(xié)議客戶端接入點下內(nèi)網(wǎng)訪問對應(yīng)的Endpoint。
重要當RocketMQ實例與Dataphin實例在同一地域時,才可以使用內(nèi)網(wǎng)訪問對應(yīng)的Endpoint。
Instance ID
RocketMQ實例的ID。您可以在消息隊列RocketMQ版控制臺的實例詳情頁面,查看實例ID。
Access ID、Access Key
RocketMQ數(shù)據(jù)源所在賬號的AccessKey ID和AccessKey Secret。如何獲取,請參見獲取AccessKey。
重要創(chuàng)建RocketMQ數(shù)據(jù)源時不支持測試數(shù)據(jù)源是否可以和Dataphin進行正常的連通,因此需要您確保連接信息的正確性。
單擊確定,完成RocketMQ數(shù)據(jù)源的創(chuàng)建。