CentOS安装Hive详细教程

2023年 8月 6日 17.0k 0

前言

LINUX一直是开源世界中的重要一员,其稳定性和安全性受到广泛认可。CentOS是其中最受欢迎的版本,而Hive则是一个基于Hadoop的数据仓库工具,可以进行数据的提取、转换和加载等操作。本文将介绍如何在CentOS上安装Hive,并进行简单的配置和使用。

安装Java

在安装Hive之前,需要先安装Java。可以通过以下命令来安装:

```

sudo yum install java-1.8.0-openjdk-devel

安装完成后,可以通过以下命令来检查Java是否安装成功:

java -version

下载和安装Hadoop

Hive是基于Hadoop的,因此需要先安装Hadoop。可以从Hadoop官网上下载最新版本的软件包,也可以通过以下命令来下载:

wget -3.3.1/hadoop-3.3.1.tar.gz

下载完成后,解压并移动到合适的目录下:

tar -zxvf hadoop-3.3.1.tar.gz

sudo mv hadoop-3.3.1 /usr/local/hadoop

配置Hadoop

在安装Hadoop之后,需要进行一些配置。需要修改hadoop-env.sh文件,添加JAVA_HOME变量:

sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

在文件中添加以下内容:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

需要修改core-site.xml文件,添加以下内容:

fs.defaultFShdfs://localhost:9000

需要修改hdfs-site.xml文件,添加以下内容:

dfs.replication1dfs.namenode.name.dirfile:/usr/local/hadoop/hadoop_data/hdfs/namenodedfs.datanode.data.dirfile:/usr/local/hadoop/hadoop_data/hdfs/datanode

需要修改mapred-site.xml文件,添加以下内容:

mapreduce.framework.nameyarn

启动Hadoop

配置完成后,可以启动Hadoop:

sudo /usr/local/hadoop/sbin/start-dfs.sh

sudo /usr/local/hadoop/sbin/start-yarn.sh

可以通过以下命令来检查Hadoop是否启动成功:

jps

如果成功启动,会显示以下内容:

NodeManager

ResourceManager

NameNode

SecondaryNameNode

DataNode

下载和安装Hive

可以从Hive官网上下载最新版本的软件包,也可以通过以下命令来下载:

wget -3.1.2/apache-hive-3.1.2-bin.tar.gz

tar -zxvf apache-hive-3.1.2-bin.tar.gz

sudo mv apache-hive-3.1.2-bin /usr/local/hive

配置Hive

在安装Hive之后,需要进行一些配置。需要修改hive-env.sh文件,添加Hadoop的配置:

sudo vi /usr/local/hive/conf/hive-env.sh

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

需要修改hive-site.xml文件,添加以下内容:

javax.jdo.option.ConnectionURLjdbc:derby:;databaseName=/usr/local/hive/metastore_db;create=truejavax.jdo.option.ConnectionDriverNameorg.apache.derby.jdbc.EmbeddedDriverjavax.jdo.option.ConnectionUserNamehivejavax.jdo.option.ConnectionPasswordhive.metastore.warehouse.dir/usr/local/hive/warehouse

需要创建Hive使用的数据库:

sudo /usr/local/hive/bin/schematool -initSchema -dbType derby

启动Hive

配置完成后,可以启动Hive:

/usr/local/hive/bin/hive

hive>

可以输入以下命令来测试Hive是否正常工作:

create table test(id int, name string);

insert into test values(1, 'test');

select * from test;

如果一切正常,会显示以下内容:

1 test

小结

通过本文,您已经学会了在CentOS上安装和配置Hive的方法。Hive是一个非常强大的数据仓库工具,可以帮助您进行数据的提取、转换和加载等操作。如果您有任何问题或建议,请在评论区留言。

为您分享

相关文章

服务器端口转发,带你了解服务器端口转发
服务器开放端口,服务器开放端口的步骤
产品推荐:7月受欢迎AI容器镜像来了,有Qwen系列大模型镜像
如何使用 WinGet 下载 Microsoft Store 应用
百度搜索:蓝易云 – 熟悉ubuntu apt-get命令详解
百度搜索:蓝易云 – 域名解析成功但ping不通解决方案

发布评论