Hadoop-3.1.2(Single Node Cluster) 安装小记

Hadoop之父Doug Cutting

首先确保你的计算机已经成功安装Java

1.下载二进制包

首先去Hadoop官网下载最新的二进制包，由于我使用的是Tencent 云服务器所以这里就直接使用wget进行下载


wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

2.解压

tar -zxf hadoop-3.1.2.tar.gz

3.编辑Hadoop环境

首先看看自己的JAVA_HOME在哪里

echo ${JAVA_HOME}

使用nano打开配置文件

nano hadoop-3.1.2/etc/hadoop/hadoop-env.sh

至此基本完成平台搭建

4.运行官方测试

创建input文件夹

mkdir input

复制测试文件到 input

cp hadoop-3.1.2/etc/hadoop/*.xml input

运行测试

 hadoop-3.1.2/bin/hadoop jar hadoop-3.1.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar grep input output 'dfs[a-z.]+'

查看结果

cat output/*

参考文献：

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html