通過創建Amazon S3數據源能夠實現Dataphin讀取Amazon S3的業務數據或向Amazon S3寫入數據。本文為您介紹如何創建Amazon S3數據源。
背景信息
Amazon S3(Simple Storage Service)是亞馬遜公司提供的一種云存儲服務。它允許個人、組織和企業在云中存儲和檢索數據。如果您使用的是Amazon S3,在對接Dataphin進行數據開發或將Dataphin的數據寫入至Amazon S3時,您需要先完成Amazon S3數據源的創建。更多Amazon S3信息,請參見什么是Amazon S3。
權限說明
僅支持擁有新建數據源權限點的自定義全局角色和超級管理員、數據源管理員、板塊架構師、項目管理員系統角色創建數據源。
操作步驟
在Dataphin首頁,單擊頂部菜單欄管理中心 > 數據源管理。
在數據源頁面,單擊+新建數據源。
在新建數據源對話框的文件區域,選擇Amazon S3。
如果您最近使用過Amazon S3,也可以在最近使用區域選擇Amazon S3。同時,您也可以在搜索框中,輸入Amazon S3的關鍵詞,快速篩選。
在新建Amazon S3數據源對話框中,配置連接數據源參數。
配置數據源的基本信息。
參數
描述
數據源名稱
填寫數據源的名稱。命名規則如下:
只能包含中文、英文字母大小寫、數字、下劃線(_)或短劃線(-)。
長度不能超過64字符。
數據源編碼
配置數據源編碼后,您可以在Flink_SQL任務中通過
數據源編碼.表名稱
或數據源編碼.schema.表名稱
的格式引用數據源中的表;如果需要根據所處環境自動訪問對應環境的數據源,請通過${數據源編碼}.table
或${數據源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務開發方式。重要目前僅支持MySQL、Hologres、MaxCompute數據源。
數據源編碼配置成功后不支持修改。
數據源描述
對數據源的簡單描述。 不得超過128個字符。
數據源配置
選擇需要配置的數據源:
如果業務數據源區分生產數據源和開發數據源,則選擇生產+開發數據源。
如果業務數據源不區分生產數據源和開發數據源,則選擇生產數據源。
標簽
您可根據標簽給數據源進行分類打標,如何創建標簽,請參見管理數據源標簽。
配置數據源與Dataphin的連接參數。
若您的數據源配置選擇生產+開發數據源,則需配置生產+開發數據源的連接信息。如果您的數據源配置為生產數據源,僅需配置生產數據源的連接信息。
說明通常情況下,生產數據源和開發數據源需配置為非同一個數據源,以實現開發數據源與生產數據源的環境隔離,降低開發數據源對生產數據源的影響。但Dataphin也支持配置成同一個數據源,即相同參數值。
參數
描述
Endpoint
Amazon S3所在地域對應的Endpoint,格式為
http://s3-{Region}.amazonaws.com
,其中Region為Bucket所在地域。Amazon S3服務的Endpoint和區域有關。訪問不同的區域時,需要填寫不同的域名。更多信息,請參見Amazon S3 終端節點。
Region
Bucket所在地域,非必填。如果Endpoint中未指定Region,則需要填寫Region。
Bucket
Amazon S3所在地域對應的Bucket信息。用于存儲對象的容器。請參見Amazon S3存儲桶概述介紹,獲取Amazon S3所在地域對應的Bucket。
目錄
如僅有特定目錄下的權限,可在此指定目錄路徑。例如,
/dataphin/
。Access ID、Access Key
Amazon S3數據源所在賬號的AccessKey ID和AccessKey Secret。
如何獲取,請參見Amazon 訪問密鑰。
說明非阿里云賬號的AccessKey ID和AccessKey Secret。
單擊測試連接,測試數據源是否可以和Dataphin進行正常的連通。
重要如果連接測試失敗,您可以根據網絡連通常見問題進行排查。詳細內容,請參見網絡連通解決方案。
測試成功后,單擊確定,完成Amazon S3數據源的創建。