(图片来源网络,侵删)
前言
LINUX系统的使用越来越广泛,而Hadoop作为分布式计算框架,也受到了越来越多的关注。本文将针对CentOS系统下的Hadoop安装进行详细讲解,帮助大家快速上手Hadoop。
1. 准备工作
在开始安装Hadoop之前,需要先安装Java环境。可以通过以下命令进行安装:
(图片来源网络,侵删)
```
yum install java-1.8.0-openjdk-devel.x86_64
(图片来源网络,侵删)
安装完成后,可以通过以下命令来验证Java是否安装成功:
java -version
如果显示出Java版本信息,则说明Java环境已经成功安装。
2. 下载Hadoop
在官网下载Hadoop的tar包,例如hadoop-2.7.7.tar.gz。下载完成后,将tar包解压到指定目录下,例如解压到/opt/hadoop目录下。
3. 配置Hadoop
接下来需要对Hadoop进行配置,主要包括以下几个方面:
3.1 配置hadoop-env.sh文件
在Hadoop的解压目录下,找到etc/hadoop目录下的hadoop-env.sh文件。将其中的JAVA_HOME路径修改为当前系统下的Java路径,例如:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el7_9.x86_64
3.2 配置core-site.xml文件
在etc/hadoop目录下,找到core-site.xml文件。在其中添加以下内容:
fs.defaultFShdfs://localhost:9000
fs.defaultFS指定了Hadoop的默认文件系统,这里设置为本地文件系统。
3.3 配置hdfs-site.xml文件
在etc/hadoop目录下,找到hdfs-site.xml文件。在其中添加以下内容:
dfs.replication1dfs.namenode.name.dir/opt/hadoop/data/dfs/namenodedfs.datanode.data.dir/opt/hadoop/data/dfs/datanode
dfs.replication指定了Hadoop的数据备份数量;dfs.namenode.name.dir和dfs.datanode.data.dir分别指定了Hadoop的NameNode和DataNode的数据存储路径。
3.4 配置mapred-site.xml文件
在etc/hadoop目录下,将mapred-site.xml.template文件复制一份,并将其重命名为mapred-site.xml。在其中添加以下内容:
mapreduce.framework.nameyarn
mapreduce.framework.name指定了Hadoop使用的MapReduce框架。
3.5 配置yarn-site.xml文件
在etc/hadoop目录下,找到yarn-site.xml文件。在其中添加以下内容:
yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler
yarn.nodemanager.aux-services和yarn.nodemanager.aux-services.mapreduce.shuffle.class分别指定了YARN的辅助服务和MapReduce的ShuffleHandler。
4. 启动Hadoop
在Hadoop的解压目录下,执行以下命令启动Hadoop:
sbin/start-all.sh
执行完成后,可以通过以下命令查看Hadoop的状态:
jps
如果显示出以下进程,则说明Hadoop已经成功启动:
NameNode
SecondaryNameNode
DataNode
ResourceManager
NodeManager
5. 测试Hadoop
在Hadoop的解压目录下,执行以下命令创建一个测试文件:
bin/hadoop fs -mkdir /test
bin/hadoop fs -put etc/hadoop/*.xml /test
执行完成后,可以通过以下命令查看/test目录下的文件:
bin/hadoop fs -ls /test
如果输出了文件列表,则说明Hadoop已经成功运行。
为您分享
Ubuntu系统下,可以通过Ctrl + Alt + T快捷键打开终端。可以通过Ctrl + Shift + T快捷键打开一个新的终端标签页,方便进行多个命令的执行。