虚拟机安装centos7教程:
安装环境:centos7
集群环境:(第一次安装,建议使用两台机器即可,成功后根据需要配置多台)
机器名 IP 备注
1968.635 主节点 centos 7(2G + 40G)
1968.636 子节点 centos 7(3G + 40G)
注意:子节点虚拟机先不用安装,因为主节点和子节点的许多配置需要保持一致,因此为了方便,在上配置好后,直接克隆该虚拟机作为子节点即可,在子节点上只需更改hostname、IP地址、MAC地址等即可,不需要再重复配置。
配置环境()
1、 修改主机名并查看
[root@localhost ~]# hostnamectl set-hostname
[root@localhost ~]# hostname
2、 配置hosts
[root@localhost ~]# vi /etc/hosts
添加如下信息(用于节点之间互相通信)
1968.635
1968.636
3、 关闭防火墙(节点之间访问端口,不关闭防火墙访问不了,后期可根据需要开放指定端口)
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# systemctl stop firewalld.service
4、 关闭selinux
[root@localhost ~]# vi /etc/sysconfig/selinux
修改 SELINUX = enforcing 为 SELINUX = disabled
5、 更改yum源(下载更快)
备份
[root@localhost ~]# mv /etc/CentOS-Base.repo /etc/CentOS-Base.repo.backup
更换
[root@localhost ~]# cd /etc/
[root@localhost yum.repos.d]# wget
更新
[root@localhost yum.repos.d]# yum clean all
[root@localhost yum.repos.d]# yum makecache
6、 配置时钟同步
安装
[root@localhost yum.repos.d]# yum install -y ntp
设置开机自启
[root@localhost yum.repos.d]# systemctl enable ntpd
启动ntp
[root@localhost yum.repos.d]# systemctl start ntpd
查看ntp状态
[root@localhost yum.repos.d]# systemctl is-enabled ntpd
7、 安装JDK
解压
[root@localhost yum.repos.d]# cd /usr/local
[root@localhost local]# mkdir jdk8
[root@localhost local]# cd jdk8
[root@localhost jdk8]# mkdir /downloads
[root@localhost jdk8]# tar -zxvf /downloads/
配置环境变量
[root@localhost jdk8]# vi /etc/profile
添加如下信息:
#java
export JAVA_HOME=/usr/local/jdk8/jdk.0_251
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
环境变量生效
[root@localhost jdk8]# source /etc/profile
检查是否安装成功
[root@localhost jdk8]# java -version
以上配置为基本配置,每个节点都需要上述的相同配置,因此配置好主节点后,克隆该虚拟机,避免重复配置
9、 克隆子节点
10、子节点修改hostname
[root@ambari ~]# hostnamectl set-hostname
下面的配置只针对主节点
11、设置ssh免密登录
测试各个节点互通
server主机:ping 或 ping 1968.636(agent主机ip)
agent主机:ping 或 ping 1968.665(server主机ip)
生成密钥文件
[root@ambari ~]# ssh-keygen -t rsa
到生成的目录查看
[root@ambari ~]# cd .ssh
[root@ambari .ssh]# ls
id_rsa为私钥文件,为公钥文件
将公钥文件复制到子节点
[root@ambari .ssh]# ssh-copy-id -i ~/.ssh/ root@1968.636
期间输入yes和子节点主机密码
测试免密登录
[root@ambari .ssh]# ssh 1968.636
[root@ambari ~]# exit(退出子节点登录)
离线安装ambari
主节点准备工作完成后,开始离线安装ambari(在线安装太慢)
1、 部署本地库
下载 Ambari与HDP 官网:Hortonworks
http://public-repo-1.hortonworks.com/HDP-UTILS-.0.21/repos/centos7/HDP-UTILS-.0.21-centos7.tar.gz
利用Xftp 6将下载的文件复制到/downloads目录下
安装本地源工具
[root@ambari .ssh]# yum install yum-utils createrepo yum-plugin-priorities -y
[root@ambari .ssh]# vi /etc/yum/
文件中添加gpgcheck = 0
配置http服务
[root@ambari .ssh]# yum install httpd
[root@ambari .ssh]# systemctl enable httpd
[root@ambari .ssh]# systemctl start httpd
创建本地源(将下载的3个tar包解压到/var/www/html 相应目录下)
[root@ambari .ssh]# cd /var/www/html/
[root@ambari html]# mkdir ambari
[root@ambari html]# mkdir hdp
[root@ambari html]# cd /downloads/
[root@ambari downloads]# ls
[root@ambari downloads]# tar -zxvf -centos7.tar.gz -C /var/www/html/ambari
[root@ambari downloads]# tar -zxvf -centos7-rpm.tar.gz -C /var/www/html/hdp
[root@ambari downloads]# tar -zxvf HDP-UTILS-.0.21-centos7.tar.gz -C /var/www/html/hdp
1.6 createrepo
[root@ambari downloads]# cd /var/www/html/ambari/
[root@ambari ambari]# createrepo ./
下载、,配置为本地源
[root@ambari ambari]# cd /etc/
[root@ambari yum.repos.d]# ls
[root@ambari yum.repos.d]# wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/.0.3/
[root@ambari yum.repos.d]# vi
配置如下 :
#VERSION_NUMBER=
[]
name=ambari Version -
baseurl=http:///ambari/ambari/centos7/
gpgcheck=1
gpgkey=http:///ambari/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[root@ambari yum.repos.d]# wget -nv
[root@ambari yum.repos.d]# vi hdp.repo
配置如下 :
#VERSION_NUMBER=
[]
name=HDP Version -
baseurl=http:///hdp/HDP/centos7/
gpgcheck=1
gpgkey=http:///hdp/HDP/centos7/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-.0.21]
name=HDP-UTILS Version - HDP-UTILS-.0.21
baseurl=http:///hdp/
gpgcheck=1
gpgkey=http:///hdp/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
执行yum命令
[root@ambari yum.repos.d]# yum clean all
[root@ambari yum.repos.d]# yum makecache
访问本地源,检查是否安装成功
1968.635/hdp(主节点ip)
1968.635/ambari(主节点ip)
2、 现在可以开始安装ambari了
检查仓库是否可用
[root@ambari hdp]# yum repolist
安装
[root@ambari yum.repos.d]# yum install ambari-server
配置ambari-server(主要配置用户、jdk和数据库,ambari默认使用PostgreSQL,可配置为mysql,此处略过)
[root@ambari yum.repos.d]# ambari-server setup
启动Ambari-server(出现如图错误原因可不用理会)
[root@ambari yum.repos.d]# service ambari-server start
配置本机host(用于访问虚拟机)
C:WindowsSystem32driversetc目录下配置hosts文件
1968.635
1968.636
安装hdp集群
现在可以安装hdp集群了
1、 登录http://:8080/(admin/admin)
2、 创建集群
3、 集群名称
4、 版本选择 (和下载版本一致)
5、 选择本地库、配置本地源地址
6、 配置子节点,上传master私钥
[root@ambari hdp]# cd ~/.ssh/
[root@ambari .ssh]# vi id_rsa
8、正在安装
9、失败处理情况的处理。点击failed 查看日志错误信息
10、根据日志错误信息处理
我遇到的错误:
ERROR 2020-05-18 22:16:11,389 NetUtil.py:93 - [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed ()
ERROR 2020-05-18 22:16:11,390 NetUtil.py:94 - SSLError: Failed to connect. Please check openssl library versions.
解决方案:
登录子节点
[root@ambari ~]# vi /etc/python/
verify项改为verify=disable
[root@ambari ~]# vi /etc/ambari-agent/conf/
[root@ambari ~]# ambari-agent restart
11、点击 retry failed 重新安装注册成功
12、安装服务(hdfs+hbase+zookeeper+ambari metrics)
13、选择每个host节点需要安装的组件
14、配置每个节点是否需要安装client、nodemanager等
15、依次选择具有红色提示的列(主要是设置密码)
16、设置完毕后 ,点击下一步
17、等待安装(过程比较漫长)
18、点击 installing …可查看服务安装信息
19、安装成功,点击完成
20、安装成功后,所有服务会自动启动。如下图节点的服务信息
21、刚开始启动可能有报错信息,等待几分钟后还报错,根据报错信息处理