通過創建MaxCompute數據源能夠實現Dataphin讀取MaxCompute的業務數據或向MaxCompute寫入數據。本文為您介紹如何創建MaxCompute數據源。
背景信息
MaxCompute即阿里云大數據計算服務,適用于數據分析場景的企業級SaaS(Software as a Service)模式云數據倉庫,以Serverless架構提供快速、全托管的在線數據倉庫服務,消除了傳統數據平臺在資源擴展性和彈性方面的限制,最小化用戶運維投入,使您可以經濟并高效地分析處理海量數據。更多信息,請參見什么是MaxCompute。
使用限制
MaxCompute數據源不支持接入MaxCompute的外部項目。詳情請參見MaxCompute項目概述。
權限說明
僅支持具備新建數據源權限點的自定義全局角色和超級管理員、數據源管理員、板塊架構師、項目管理員角色創建數據源。
操作步驟
在Dataphin首頁,單擊頂部菜單欄管理中心 > 數據源管理。
在數據源頁面,單擊+新建數據源。
在新建數據源對話框的大數據存儲區域,選擇MaxCompute。
如果您最近使用過MaxCompute,也可以在最近使用區域選擇MaxCompute。同時,您也可以在搜索框中,輸入MaxCompute的關鍵詞,快速篩選。
在新建MaxCompute數據源對話框中,配置連接數據源參數。
配置數據源的基本信息。
參數
說明
數據源名稱
填寫數據源名稱。命名規則如下:
只能包含中文、英文字母大小寫、數字、下劃線(_)或短劃線(-)。
長度不能超過64個字符。
數據源編碼
配置數據源編碼后,您可以在Flink_SQL任務或使用Dataphin JDBC客戶端中,通過
數據源編碼.表名稱
或數據源編碼.schema.表名稱
的格式直接訪問Dataphin數據源表,實現快捷消費;如果需要根據任務執行環境自動切換數據源,請通過${數據源編碼}.table
或${數據源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務開發方式。重要數據源編碼配置成功后不支持修改。
數據源描述
填寫對數據源的簡單描述。不得超過128個字符。
數據源配置
選擇需要配置的數據源:
如果業務數據源區分生產數據源和開發數據源,則選擇生產+開發數據源。
如果業務數據源不區分生產數據源和開發數據源,則選擇生產數據源。
標簽
您可以根據標簽給數據源進行分類打標,如何創建標簽,請參見管理數據源標簽。
配置數據源與Dataphin的連接參數。
若您的數據源配置選擇生產+開發數據源,則需配置生產+開發數據源的連接信息。如果您的數據源配置為生產數據源,僅需配置生產數據源的連接信息。
說明通常情況下,生產數據源和開發數據源需配置為非同一個數據源,以實現開發數據源與生產數據源的環境隔離,降低開發數據源對生產數據源的影響。但Dataphin也支持配置成同一個數據源,即相同參數值。
參數
說明
Endpoint
MaxCompute的Endpoint,請根據您的網絡環境和連接方式選擇對應的Endpoint。
如何獲取Endpoint,請參見Endpoint。
Project Name
此處為MaxCompute項目名稱,非DataWorks工作空間名稱。
您可以登錄MaxCompute控制臺,左上角切換地域后,即可在項目管理頁簽查看到具體的MaxCompute項目名。
Access ID、Access Key
MaxCompute數據源所在賬號的AccessKey ID和AccessKey Secret。
如何獲取,請參見獲取AccessKey。
單擊測試連接,測試數據源是否可以和Dataphin進行正常的連通。
重要如果連接測試失敗,您可以根據網絡連通常見問題進行排查。詳細內容,請參見網絡連通解決方案。
測試成功后,單擊確定,完成MaxCompute數據源的創建。