hadoop3

预装的软件

这里系统是unbutu所以是apt安装

apt install ssh
apt install pdsh
apt install openjdk-8-jdk-headless

配置免密登录自己

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

配置pdsh默认使用ssh，在/etc/profile中添加

export PDSH_RCMD_TYPE=ssh

并使其生效

source /etc/profile

hadoop下载列表页面https://hadoop.apache.org/releases.html，到一个干净的目录下下载，比/opt目录

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

解压出来

tar -zxvf hadoop-3.2.2.tar.gz

hadoop文件修改

首先修改etc/hadoop目录下的hadoop-env.sh，这个文件要配置一些全局的变量。在文件第一行添加java_home的配置。

JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

接下来按照官方给的配置方式进行修改

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

sbin/start-dfs.sh第一行添加

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

开始启动服务

格式化文件系统

bin/hdfs namenode -format

启动nameNode和dataNode

sbin/start-dfs.sh

hdfs操作

bin/hadoop fs -xxx

xxx是操作文件的指令，例如 ls /可以列出/下所有文件，put可以拷貝本機文件到hdfs，cat可以查看文件等等。