創(chuàng)建DataHub數(shù)據(jù)源
通過創(chuàng)建DataHub數(shù)據(jù)源能夠實現(xiàn)Dataphin讀取DataHub的業(yè)務數(shù)據(jù)或向DataHub寫入數(shù)據(jù)。本文為您介紹如何創(chuàng)建DataHub數(shù)據(jù)源。
背景信息
DataHub即阿里云流式數(shù)據(jù)服務DataHub,DataHub是流式數(shù)據(jù)(Streaming Data)的處理平臺,提供對流式數(shù)據(jù)的發(fā)布、訂閱和分發(fā)功能,讓您可以輕松構建基于流式數(shù)據(jù)的分析和應用。如果您使用的是阿里云流式數(shù)據(jù)服務DataHub,在對接Dataphin進行數(shù)據(jù)開發(fā)時,您需要先完成DataHub數(shù)據(jù)源的創(chuàng)建。更多DataHub信息,請參見DataHub的產(chǎn)品概述。
權限說明
僅支持擁有新建數(shù)據(jù)源權限點的自定義全局角色和超級管理員、數(shù)據(jù)源管理員、板塊架構師、項目管理員系統(tǒng)角色創(chuàng)建數(shù)據(jù)源。
操作步驟
在Dataphin首頁,單擊頂部菜單欄管理中心 > 數(shù)據(jù)源管理。
在數(shù)據(jù)源頁面,單擊+新建數(shù)據(jù)源。
在新建數(shù)據(jù)源對話框的消息隊列區(qū)域,選擇DataHub。
如果您最近使用過DataHub,也可以在最近使用區(qū)域選擇DataHub。同時,您也可以在搜索框中,輸入DataHub的關鍵詞,快速篩選。
在新建DataHub數(shù)據(jù)源對話框中,配置連接數(shù)據(jù)源參數(shù)。
配置數(shù)據(jù)源的基本信息。
參數(shù)
描述
數(shù)據(jù)源名稱
命名規(guī)則如下:
只能包含中文、英文字母大小寫、數(shù)字、下劃線(_)或短劃線(-)。
長度不能超過64字符。
數(shù)據(jù)源編碼
配置數(shù)據(jù)源編碼后,您可以在Flink_SQL任務中通過
數(shù)據(jù)源編碼.表名稱
或數(shù)據(jù)源編碼.schema.表名稱
的格式引用數(shù)據(jù)源中的表;如果需要根據(jù)所處環(huán)境自動訪問對應環(huán)境的數(shù)據(jù)源,請通過${數(shù)據(jù)源編碼}.table
或${數(shù)據(jù)源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務開發(fā)方式。重要目前僅支持MySQL、Hologres、MaxCompute數(shù)據(jù)源。
數(shù)據(jù)源編碼配置成功后不支持修改。
數(shù)據(jù)源描述
對數(shù)據(jù)源的簡單描述。不得超過128個字符。
數(shù)據(jù)源配置
選擇需要配置的數(shù)據(jù)源:
如果業(yè)務數(shù)據(jù)源區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)+開發(fā)數(shù)據(jù)源。
如果業(yè)務數(shù)據(jù)源不區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)數(shù)據(jù)源。
標簽
您可根據(jù)標簽給數(shù)據(jù)源進行分類打標,如何創(chuàng)建標簽,請參見管理數(shù)據(jù)源標簽。
配置數(shù)據(jù)源與Dataphin的連接參數(shù)。
若您的數(shù)據(jù)源配置選擇生產(chǎn)+開發(fā)數(shù)據(jù)源,則需配置生產(chǎn)+開發(fā)數(shù)據(jù)源的連接信息。如果您的數(shù)據(jù)源配置為生產(chǎn)數(shù)據(jù)源,僅需配置生產(chǎn)數(shù)據(jù)源的連接信息。
說明通常情況下,生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源需配置為非同一個數(shù)據(jù)源,以實現(xiàn)開發(fā)數(shù)據(jù)源與生產(chǎn)數(shù)據(jù)源的環(huán)境隔離,降低開發(fā)數(shù)據(jù)源對生產(chǎn)數(shù)據(jù)源的影響。但Dataphin也支持配置成同一個數(shù)據(jù)源,即相同參數(shù)值。
參數(shù)
描述
Endpoint
DataHub的Endpoint,請根據(jù)您的網(wǎng)絡環(huán)境和連接方式選擇對應的Endpoint。
如何獲取Endpoint,請參見域名列表。
Project Name
DataHub項目名稱。您在DataHub控制臺頁面,查看Project Name。
Access ID、Access Key
DataHub數(shù)據(jù)源所在賬號的AccessKey ID和AccessKey Secret。
如何獲取,請參見獲取AccessKey。
單擊測試連接,測試數(shù)據(jù)源是否可以和Dataphin進行正常的連通。
重要如果連接測試失敗,您可以根據(jù)網(wǎng)絡連通常見問題進行排查。詳細內容,請參見網(wǎng)絡連通解決方案。
測試成功后,單擊確定,完成DataHub數(shù)據(jù)源的創(chuàng)建。