macos+ubuntu系统安装hadoop

Hadoop

分布式计算平台，核心是分布式文件系统HDFS

macos下

安装

下载地址：Index of apache-local/hadoop/core/hadoop-3.3.0

使用

参考文章：Mac部署hadoop3(伪分布式) - 掘金

进入目录~/tools/hadoop-3.3.0/etc/hadoop，做以下设置：

• 查看java_home:

• 打开hadoop-env.sh文件，增加JAVA的路径设置：

 export JAVA_HOME=/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

• 打开core-site.xml文件，将configuration节点改为如下内容，设置本地文件系统的端口和临时文件存储位置：

 
     fs.defaultFS
     hdfs://localhost:9000
 
 
   hadoop.tmp.dir
   ${user.home}/hadoop-tmp
 

• 打开hdfs-site.xml文件，将configuration节点改为如下内容，设置文件副本的数量：

 
     
         dfs.replication
         1
     
 

• 打开mapred-site.xml文件，将configuration节点改为如下内容，使用 YARN 作为 MapReduce 框架：

 
     
         mapreduce.framework.name
         yarn
     
 

• 打开yarn-site.xml文件，将configuration节点改为如下内容：

 
     
         yarn.nodemanager.aux-services
         mapreduce_shuffle
     
     
         yarn.nodemanager.env-whitelist
         JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
     
 

• 在目录hadoop-3.2.1/bin执行以下命令，初始化hdfs：

 ./hdfs namenode -format

初始化成功后，可见如下信息：

启动

进入目录hadoop-3.2.1/sbin，执行./start-dfs.sh启动hdfs：

遇到了以下问题，我烦死了

所以，在我的mac上安装的计划彻底放弃了，正当我以为我再也安装不了handoop的时候，我再次找了很多的教程，失败了很多次，最终按照这个文章成功的实现了：Linux(阿里云)安装Hadoop(详细教程+避坑)阿里云hadoop飞川撸码的博客-CSDN博客

ubantu下

安装jdk

 wget https://repo.huaweicloud.com/openjdk/18.0.1.1/openjdk-18.0.1.1_linux-aarch64_bin.tar.gz
 tar -zxvf openjdk-18.0.1.1_linux-aarch64_bin.tar.gz
 mv jdk-18.0.1.1/ /usr/java18
 echo 'export JAVA_HOME=/usr/java18' >> /etc/profile
 echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
 source /etc/profile
 java -version

这里手残选用了jdk18的版本，本来以为是jdk1.8的

安装hadoop

hadoop的安装包在清华云镜像下载的

 tar -zxvf hadoop-3.3.4.tar.gz
 ll
 mv hadoop-3.3.4 /opt/hadoop
 echo "export JAVA_HOME=/usr/java18" >> /opt/hadoop/etc/hadoop/yarn-env.sh
 echo "export JAVA_HOME=/usr/java18" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
 hadoop version

配置Hadoop

 vim /opt/hadoop/etc/hadoop/core-site.xml

在节点内插入如下内容。

  
     hadoop.tmp.dir
     file:/opt/hadoop/tmp
     location to store temporary files
 
 
     fs.defaultFS
     hdfs://localhost:9000
 

 vim /opt/hadoop/etc/hadoop/hdfs-site.xml

在节点内插入如下内容。

 
     dfs.replication
     1
 
 
     dfs.namenode.name.dir
     file:/opt/hadoop/tmp/dfs/name
 
 
     dfs.datanode.data.dir
     file:/opt/hadoop/tmp/dfs/data
 

配置SSH免密登录

执行以下命令，创建公钥和私钥。

 ssh-keygen -t rsa

将公钥添加到authorized_keys文件中。

 cd ~
 cd .ssh
 cat id_rsa.pub >> authorized_keys

将hadoop添加到环境变量中。

 vi /etc/profile
 ​
 export HDFS_NAMENODE_USER=root
 export HDFS_DATANODE_USER=root
 export HDFS_SECONDARYNAMENODE_USER=root
 export YARN_RESOURCEMANAGER_USER=root
 export YARN_NODEMANAGER_USER=root
 ​
 source /etc/profile

启动Hadoop

 hadoop namenode -format

 start-dfs.sh

可以看到的web页面：

查看文件列表的时候出现了如下问题：

解决的方案：降低jdk的版本。

以上就是安装hadoop的全部过程，推荐第二种安装方式。

与shigen一起，每天不一样！