創建Log Service數據源用于實現Dataphin能夠讀取Log Service的業務數據。在引入Log Service的業務數據至Dataphin中進行數據開發的場景中,您需要先創建Log Service數據源。本文為您介紹如何創建Log Service類型的數據源。
背景信息
Log Service即阿里云日志服務,為Log、Metric、Trace等數據提供大規模、低成本、實時的平臺化服務。如果您使用的是阿里云日志服務,在對接Dataphin進行數據開發時,您需要先完成Log Service數據源的創建。更多Log Service信息,請參見什么是日志服務。
Dataphin支持通過VPC網絡和公網連接Log Service。Dataphin連接Log Service時,可以選擇Log Service在VPC網絡或公網環境下對應的Endpoint,Log Service的Endpoint請參見服務入口,通常,VPC網絡較公網穩定,建議您選擇VPC網絡連通Dataphin和Log Service。
權限說明
僅支持擁有新建數據源權限點的自定義全局角色和超級管理員、數據源管理員、板塊架構師、項目管理員系統角色創建數據源。
操作步驟
在Dataphin首頁,單擊頂部菜單欄管理中心 > 數據源管理。
在數據源頁面,單擊+新建數據源。
在新建數據源對話框的消息隊列區域,選擇Log Service。
如果您最近使用過Log Service,也可以在最近使用區域選擇Log Service。同時,您也可以在搜索框中,輸入Log Service的關鍵詞,快速篩選。
在新建Log Service數據源對話框中,配置連接數據源參數。
配置數據源的基本信息。
參數
描述
數據源名稱
命名規則如下:
只能包含中文、英文字母大小寫、數字、下劃線(_)或短劃線(-)。
長度不能超過64字符。
數據源編碼
配置數據源編碼后,您可以在Flink_SQL任務中通過
數據源編碼.表名稱
或數據源編碼.schema.表名稱
的格式引用數據源中的表;如果需要根據所處環境自動訪問對應環境的數據源,請通過${數據源編碼}.table
或${數據源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務開發方式。重要目前僅支持MySQL、Hologres、MaxCompute數據源。
數據源編碼配置成功后不支持修改。
數據源描述
對數據源的簡單描述。不得超過128個字符。
數據源配置
選擇需要配置的數據源:
如果業務數據源區分生產數據源和開發數據源,則選擇生產+開發數據源。
如果業務數據源不區分生產數據源和開發數據源,則選擇生產數據源。
標簽
您可根據標簽給數據源進行分類打標,如何創建標簽,請參見管理數據源標簽。
配置數據源與Dataphin的連接參數。
當上述步驟中選擇了生產+開發數據源,則展示生產+開發數據源的配置頁面。如果上述步驟中您選擇了生產數據源,則僅展示生產數據源的配置頁面。
說明通常情況下,生產數據源和開發數據源需配置為非同一個數據源,以實現開發數據源與生產數據源的環境隔離,降低開發數據源對生產數據源的影響。但Dataphin也支持配置成同一個數據源,即相同參數值。
參數
描述
LogHub Endpoint
Log Service的Endpoint,建議配置阿里云VPC網絡下的Endpoint。如何獲取Endpoint,請參見服務入口。
重要僅支持配置與Dataphin實例在同一地域的Log Service Endpoint。
Project
Log Service項目名稱。在Log Service控制臺頁面,查看Project名稱。
Access ID、Access Key
當前賬號的AccessKey ID和AccessKey Secret。
如何獲取,請參見獲取AccessKey。
單擊測試連接,測試數據源是否可以和Dataphin進行正常的連通。
重要如果連接測試失敗,您可以根據網絡連通常見問題進行排查。詳細內容,請參見網絡連通解決方案。
測試成功后,單擊確定,完成Log Service數據源的創建。