本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
本文介紹掛載及卸載文件存儲 HDFS 版文件系統的操作。
前提條件
已為ECS實例安裝JDK,且JDK版本不低于1.8。
已安裝Hadoop客戶端,建議您使用的Hadoop版本不低于2.7.2。Hadoop下載地址,請參見Hadoop Releases。
掛載說明
如果掛載點網絡類型是專有網絡,則只支持與掛載點同一VPC網絡的ECS實例掛載文件系統,且掛載點所綁定的權限組中授權地址必須包含ECS實例的VPC IP地址。
掛載文件系統
連接ECS實例。連接方式,請參見連接ECS實例。
配置core-site.xml。
執行如下命令打開core-site.xml文件。
vim ${HADOOP_HOME}/etc/hadoop/core-site.xml
如果您尚未配置
${HADOOP_HOME}
,可以使用下面命令將您的Hadoop安裝目錄配置到該環境變量。export HADOOP_HOME=/your/hadoop/installation/directory
在core-site.xml文件中,配置如下信息。
<property> <name>fs.defaultFS</name> <value>dfs://f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com:10290</value> </property> <property> <name>fs.dfs.impl</name> <value>com.alibaba.dfs.DistributedFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.dfs.impl</name> <value>com.alibaba.dfs.DFS</value> </property>
其中,
f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com
為文件存儲 HDFS 版掛載點地址,請根據實際情況替換。可選:調整core-site.xml配置,優化集群性能。具體方法,請參見性能優化最佳實踐。
將core-site.xml文件同步到所有節點上。
部署文件存儲 HDFS 版Java SDK。
下載最新的文件存儲 HDFS 版Java SDK。
將下載的文件存儲 HDFS 版Java SDK部署到HDFS組件的CLASSPATH路徑下。
cp aliyun-sdk-dfs-x.y.z.jar ${HADOOP_HOME}/share/hadoop/hdfs
將文件存儲 HDFS 版Java SDK同步到所有節點上。
執行以下命令,驗證掛載結果。
執行命令
${HADOOP_HOME}/bin/hadoop fs -df
返回示例
如果返回如下類似信息,則表示掛載文件存儲 HDFS 版文件系統成功。
Filesystem Size Used Available Use% dfs://f-e389e5c7e****.cn-hangzhou.dfs.aliyuncs.com:10290 10995116277760 0 10995116277760 0% 22/09/20 14:19:04 INFO dfs.DistributedFileSystem: FileSystem close com.alibaba.dfs.DistributedFileSystem@51ee79a3 22/09/20 14:19:04 INFO dfs.DfsClient: DfsClient close Client-6676663918471637276 22/09/20 14:19:04 INFO common.LeaseRenewer: close all files being written 22/09/20 14:19:04 INFO common.LeaseRenewer: LeaseRenwerForClient-6676663918471637276 closed
卸載文件系統
確認不再使用文件存儲 HDFS 版文件系統后,您需要參考掛載文件系統的內容,刪除所有已部署的文件存儲 HDFS 版Java SDK和所有core-site.xml文件中的文件存儲 HDFS 版相關配置,完成卸載文件系統。
如果您想釋放文件存儲 HDFS 版文件系統實例,具體操作,請參見刪除文件系統。
釋放文件系統實例后,存儲在文件系統中的數據將被刪除且無法恢復,請在釋放前確認數據已不再使用。