創(chuàng)建FTP數(shù)據(jù)源
通過創(chuàng)建FTP數(shù)據(jù)源能夠實現(xiàn)Dataphin讀取FTP的業(yè)務數(shù)據(jù)或向FTP寫入數(shù)據(jù)。本文為您介紹如何創(chuàng)建FTP數(shù)據(jù)源。
背景信息
文件傳輸協(xié)議FTP(File Transfer Protocol)是TCP/IP協(xié)議組中的一個協(xié)議。在開發(fā)網(wǎng)站的時候,您可以使用FTP客戶端將網(wǎng)站程序或者網(wǎng)頁通過FTP協(xié)議上傳到Web服務器。如果您使用的是FTP,在對接Dataphin進行數(shù)據(jù)開發(fā)或將Dataphin的數(shù)據(jù)寫入至FTP的場景中,您需要先完成FTP數(shù)據(jù)源的創(chuàng)建。更多FTP信息,請參見FTP官網(wǎng)。
權限說明
僅支持擁有新建數(shù)據(jù)源權限點的自定義全局角色和超級管理員、數(shù)據(jù)源管理員、板塊架構師、項目管理員系統(tǒng)角色創(chuàng)建數(shù)據(jù)源。
操作步驟
在Dataphin首頁的頂部菜單欄中,選擇管理中心 > 數(shù)據(jù)源管理。
在數(shù)據(jù)源頁面,單擊+新建數(shù)據(jù)源。
在新建數(shù)據(jù)源對話框的文件區(qū)域,選擇FTP。
如果您最近使用過FTP,也可以在最近使用區(qū)域選擇FTP。同時,您也可以在搜索框中輸入FTP的關鍵詞,快速篩選。
在新建FTP數(shù)據(jù)源對話框中,配置連接數(shù)據(jù)源參數(shù)。
配置數(shù)據(jù)源的基本信息。
參數(shù)
描述
數(shù)據(jù)源名稱
填寫數(shù)據(jù)源名稱。命名規(guī)則如下:
只能包含中文、字母、數(shù)字、下劃線(_)或短劃線(-)。
長度不能超過64個字符。
數(shù)據(jù)源編碼
配置數(shù)據(jù)源編碼后,您可以在Flink_SQL任務中通過
數(shù)據(jù)源編碼.表名稱
或數(shù)據(jù)源編碼.schema.表名稱
的格式引用數(shù)據(jù)源中的表;如果需要根據(jù)所處環(huán)境自動訪問對應環(huán)境的數(shù)據(jù)源,請通過${數(shù)據(jù)源編碼}.table
或${數(shù)據(jù)源編碼}.schema.table
的變量格式訪問。更多信息,請參見Flink_SQL任務開發(fā)方式。重要數(shù)據(jù)源編碼配置成功后不支持修改。
數(shù)據(jù)源描述
對數(shù)據(jù)源的簡單描述。 不超過128個字符。
數(shù)據(jù)源配置
選擇需要配置的數(shù)據(jù)源:
如果業(yè)務數(shù)據(jù)源區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)+開發(fā)數(shù)據(jù)源。
如果業(yè)務數(shù)據(jù)源不區(qū)分生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源,則選擇生產(chǎn)數(shù)據(jù)源。
標簽
您可根據(jù)標簽給數(shù)據(jù)源進行分類打標,如何創(chuàng)建標簽,請參見管理數(shù)據(jù)源標簽。
配置數(shù)據(jù)源與Dataphin的連接參數(shù)。
若您的數(shù)據(jù)源配置選擇生產(chǎn)+開發(fā)數(shù)據(jù)源,則需配置生產(chǎn)+開發(fā)數(shù)據(jù)源的連接信息。如果您的數(shù)據(jù)源配置為生產(chǎn)數(shù)據(jù)源,僅需配置生產(chǎn)數(shù)據(jù)源的連接信息。
說明通常情況下,生產(chǎn)數(shù)據(jù)源和開發(fā)數(shù)據(jù)源需配置為非同一個數(shù)據(jù)源,以實現(xiàn)開發(fā)數(shù)據(jù)源與生產(chǎn)數(shù)據(jù)源的環(huán)境隔離,降低開發(fā)數(shù)據(jù)源對生產(chǎn)數(shù)據(jù)源的影響。但Dataphin也支持配置成同一個數(shù)據(jù)源,即相同參數(shù)值。
參數(shù)
描述
Protocol
基于FTP服務器使用的協(xié)議,選擇對應的文件傳輸協(xié)議。目前支持的傳輸協(xié)議包括以下幾種:
FTP:文件傳輸協(xié)議,用于控制文件的雙向傳輸,同時也是一個應用程序。
SFTP:基于SSH的安全文件傳送協(xié)議,為傳輸文件提供一種安全的加密方法。
FTPS:基于SSL/TLS的文件傳輸協(xié)議,相當于加密的FTP。
Host
FTP服務器地址。
Port
FTP服務器端口。
用戶名
訪問FTP服務器的用戶名。
認證方式
當Protocol協(xié)議類型為SFTP時,支持輸入密碼或上傳密鑰文件的認證方式。
當Protocol協(xié)議類型為FTP、FTPS時,支持輸入密碼的認證方式。
說明密鑰文件認證方式需上傳SFTP的私鑰文件用于訪問認證。
SSLImplicit
隱式模式。當Protocol選擇為FTPS時,需要配置SSLImplicit參數(shù)。當FTP服務器上開啟SSLImplicit個協(xié)議,則需要選擇TRUE,否則選擇FALSE。
connectPattern
連接模式。當Protocol選擇為FTP或FTPS時,需要配置connectPattern參數(shù)。參數(shù)包括以下兩種:
PORT(主動模式):客戶端打開一個端口等服務器建立數(shù)據(jù)連接。
PASV(被動模式):服務器打開一個端口等客戶端建立數(shù)據(jù)連接。
單擊測試連接,測試數(shù)據(jù)源是否可以和Dataphin進行正常的連通。
重要如果連接測試失敗,您可以根據(jù)網(wǎng)絡連通常見問題進行排查。詳細內(nèi)容,請參見網(wǎng)絡連通解決方案。
測試成功后,單擊確定,完成FTP數(shù)據(jù)源的創(chuàng)建。