在基于HBase、Elasticsearch或MongoDB數據源創建服務單元之前,需要先創建對應數據源中數據表的元數據,以實現通過元數據確定數據源中數據表的結構。后續您可以通過該元數據讀取到對應數據源的數據。本文為您介紹如何創建HBase、Elasticsearch和MongoDB數據源中數據表的元數據。
背景信息
HBase、Elasticsearch和MongoDB數據源為非關系型數據源,基于這三種數據源創建服務單元時無法直接讀取到數據源的數據,因此在基于HBase、Elasticsearch或MongoDB數據源創建服務單元之前,需要先創建對應數據源中數據表的元數據。
前提條件
在開始執行操作前,請確認您已具有HBase、Elasticsearch或MongoDB數據源的讀取權限。
如何申請數據源的讀取權限,請參見申請、續期和交還數據源權限。
使用限制
HBase、Elasticsearch或MongoDB數據源中的一個數據表只能創建一個元數據。
僅支持開發用戶、服務項目管理員角色的用戶創建元數據。
創建元數據
在Dataphin首頁,單擊頂部菜單欄服務 > 開發。
選擇服務項目,再單擊左側導航欄的元數據管理,再單擊+新建元數據按鈕。
支持基于HBase、Elasticsearch或MongoDB數據源創建元數據。
創建HBase數據源中數據表的元數據
在新建元數據頁面,配置參數。
參數
描述
數據表配置
物理數據表
選擇HBase 0.9.4/1.1.x/2.x的數據源類型、數據源和需要創建元數據的數據表。
Rowkey配置
在讀寫HBase的數據時,需要通過RowKey字段查詢到數據所在的Region及Region下的MemStore和HFile。
分隔符
基于業務數據中的分隔符選擇對應的分隔符。當只有一個Rowkey字段時,也需要選擇分隔符,這時分割符可以任意選一個即可。
Rowkey字段間的分隔符包括DASH(-)、AMPERSAND(&)、CARET(^)、SEMICOLO(:)、POUND(#)、VERTICAL(|)、UNDERSCORE(_)、ESCAPE_0(\0)、ESCAPE_40(\40)、ESCAPE_001(\001)、ESCAPE_002(\002)、ESCAPE_003(\003)、ESCAPE_004(\004)。
新建Rowkey字段
創建Rowkey字段。單擊Rowkey配置區域的新建列字段,配置如下參數:
Rowkey字段名稱:您可以自定義Rowkey字段的名稱。命名規則如下:
只能包含字母、數字或下劃線(_)。
以字母開頭。
不能超過64個字符。
字段類型:根據業務數據的字段類型選擇對應的Rowkey字段類型。
支持選擇的字段類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務數據的字段類型不在上述字段類型范圍內,推薦您選擇String。
Rowkey描述:填寫對Rowkey字段的簡單描述。
列字段配置
新建列字段
列簇名稱:配置為HBase業務數據源中實際的列簇名稱。
列字段名稱:配置為HBase業務數據源中實際的列字段名稱。
字段類型:根據業務數據的字段類型選擇對應的字段類型。
支持選擇的字段類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務數據的字段類型不在上述字段類型范圍內,推薦您選擇String。
描述:填寫對列字段的簡單描述。
單擊提交,完成HBase數據源的元數據的創建。
創建Elasticsearch數據源中數據表的元數據
在新建元數據頁面,配置參數。
參數
描述
數據表配置
物理數據表
選擇Elasticsearch的數據源類型、數據源和需要創建元數據的數據表。
列字段配置
新建列字段
字段名稱:配置為業務數據中實際的字段名稱,且后續需要基于該字段創建服務單元。支持多層嵌套,使用點(.)分隔。
字段類型:根據業務數據的字段類型選擇對應的字段類型。
支持選擇的字段類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務數據的字段類型不在上述字段類型范圍內,推薦您選擇String。
描述:填寫對列字段的簡單描述。
單擊提交,完成Elasticsearch數據源的元數據的創建。
創建MongoDB數據源中數據表的元數據
在新建元數據頁面,配置參數。
參數
描述
數據表配置
物理數據表
選擇MongoDB的數據源類型、數據源和需要創建元數據的數據表。
列字段配置
新建列字段
字段名稱:配置為業務數據中實際的字段名稱,且后續需要基于該字段創建服務單元。支持多層嵌套,使用半角句號(.)分割。
字段類型:根據業務數據的字段類型選擇對應的字段類型。
支持選擇的字段類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務數據的字段類型不在上述字段類型范圍內,推薦您選擇String。
描述:填寫對列字段的簡單描述。
單擊提交,完成MongoDB數據源的元數據的創建。
管理元數據
元數據創建完成后,可在元數據管理頁面對元數據執行編輯和刪除操作。
后續步驟
完成元數據創建后,即可創建服務單元。具體操作,請參見創建物理表服務單元。