訪問HBase HDFS
更新時(shí)間:
在一些場(chǎng)景下,比如需要bulkload導(dǎo)入數(shù)據(jù),需要打開HBase集群的HDFS端口。
注意:HDFS端口打開后,因誤操作HDFS導(dǎo)致的數(shù)據(jù)丟失等問題客戶自身承擔(dān),客戶需要對(duì)HDFS的操作比較了解。
首先聯(lián)系
云HBase答疑
(s0s3eg3),開通HDFS(由于HDFS的開放可能造成用戶的惡意攻擊,引起集群不穩(wěn)定甚至造成破壞。因此此功能暫時(shí)不直接開放給用戶,當(dāng)用戶特別需要的情況下,我們通過云HBase答疑后臺(tái)開通,隨后客戶使用完成,再關(guān)閉)。
驗(yàn)證
檢查端口是否可以正常使用通過一個(gè)HDFS client訪問云HBase上的HDFS(目標(biāo)集群)。
創(chuàng)建一個(gè)Hadoop客戶端配置目錄conf(如果使用客戶端已存在這個(gè)目錄則不需要另行創(chuàng)建)。
添加以下兩個(gè)HDFS配置到Hadoop客戶端conf目錄中。
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hbase-cluster</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.nameservices</name> <value>hbase-cluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.hbase-cluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.automatic-failover.enabled.hbase-cluster</name> <value>true</value> </property> <property> <name>dfs.ha.namenodes.hbase-cluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.hbase-cluster.nn1</name> <value>{hbase-header-1-host}:8020</value> </property> <property> <name>dfs.namenode.rpc-address.hbase-cluster.nn2</name> <value>{hbase-header-2-host}:8020</value> </property> </configuration>
說(shuō)明參數(shù){hbase-header-1-host}和{hbase-header-2-host}通過提交工單獲取。
添加conf到Hadoop客戶端classpath中。
讀寫驗(yàn)證HDFS端口能否正常訪問。
echo "HDFS port test" >/tmp/test hadoop dfs -put /tmp/test / hadoop dfs -cat /test
文檔內(nèi)容是否對(duì)您有幫助?