配置Hadoop

本節(jié)以Hadoop 2.7.2版本為例，介紹如何配置Hadoop。

1. 下載Hadoop，建議版本不低于2.7.2。

2. 執(zhí)行以下命令，解壓Hadoop壓縮包。

   tar -zxf hadoop-2.7.2.tar.gz

3. 執(zhí)行以下命令，設(shè)置Hadoop工作環(huán)境變量。

   export HADOOP_HOME=yourWorkingDir/hadoop-2.7.2

4. 執(zhí)行cd hadoop-2.7.2命令，進(jìn)入Hadoop目錄。

5. 配置hadoop-env.sh文件。

   1. 執(zhí)行以下命令，打開hadoop-env.sh文件。

      vim etc/hadoop/hadoop-env.sh

   2. 配置JAVA_HOME。

      # ${JAVA_HOME}為您ECS的Java JDK的路徑，請(qǐng)根據(jù)實(shí)際路徑進(jìn)行替換。
      export JAVA_HOME=${JAVA_HOME}

6. 配置core-site.xml文件。core-site.xml文件中需要修改的內(nèi)容如下所示。

   1. 執(zhí)行以下命令，打開core-site.xml文件。

      vim etc/hadoop/core-site.xml

   2. 在core-site.xml文件中，配置如下信息。

      <property>
           <name>fs.defaultFS</name>
           <value>dfs://f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com:10290</value>
      </property>
      <property>
           <name>fs.dfs.impl</name>
           <value>com.alibaba.dfs.DistributedFileSystem</value>
      </property>
      <property>
           <name>fs.AbstractFileSystem.dfs.impl</name>
           <value>com.alibaba.dfs.DFS</value>
      </property>

      說明

      • f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com為文件存儲(chǔ) HDFS 版掛載點(diǎn)地址，請(qǐng)根據(jù)實(shí)際值替換。

      • core-site.xml的內(nèi)容需要同步到所有依賴hadoop-common的節(jié)點(diǎn)上。

部署依賴

1. 下載最新的文件存儲(chǔ) HDFS 版的文件系統(tǒng)Java SDK。

2. 將下載的SDK拷貝至Hadoop生態(tài)系統(tǒng)組件的CLASSPATH上。

   推薦將其部署到hadoop-common-x.y.z.jar所在的目錄內(nèi)，并復(fù)制到所有Hadoop節(jié)點(diǎn)。對(duì)于MapReduce組件，該目錄為${HADOOP_HOME}/share/hadoop/hdfs，命令示例如下。

   cp aliyun-sdk-dfs-x.y.z.jar ${HADOOP_HOME}/share/hadoop/hdfs

   其中，x.y.z為文件系統(tǒng)SDK的版本號(hào)，請(qǐng)根據(jù)實(shí)際版本號(hào)替換。

驗(yàn)證安裝

請(qǐng)執(zhí)行以下步驟驗(yàn)證安裝。

1. 準(zhǔn)備數(shù)據(jù)。

   1. 運(yùn)行以下命令創(chuàng)建目錄。

      ${HADOOP_HOME}/bin/hadoop fs -mkdir -p inputDir

   2. 運(yùn)行以下命令上傳文件（例如，上傳a.txt文件）。

      ${HADOOP_HOME}/bin/hadoop fs -put a.txt inputDir/

2. 重啟YARN服務(wù)。

   1. 關(guān)閉YARN服務(wù)。

      ${HADOOP_HOME}/sbin/stop-yarn.sh

   2. 開啟YARN服務(wù)。

      ${HADOOP_HOME}/sbin/start-yarn.sh

3. 執(zhí)行樣例測(cè)試。

   • WordCount樣例

     ${HADOOP_HOME}/bin/hadoop jar \
     ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \
     inputDir outputDir

   • Grep樣例

     ${HADOOP_HOME}/bin/hadoop jar \
     ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep \
     inputDir outputDirGrep "the"