前言
LINUX一直是开源世界中的重要一员,其稳定性和安全性受到广泛认可。CentOS是其中最受欢迎的版本,而Hive则是一个基于Hadoop的数据仓库工具,可以进行数据的提取、转换和加载等操作。本文将介绍如何在CentOS上安装Hive,并进行简单的配置和使用。
安装Java
在安装Hive之前,需要先安装Java。可以通过以下命令来安装:
```
sudo yum install java-1.8.0-openjdk-devel
安装完成后,可以通过以下命令来检查Java是否安装成功:
java -version
下载和安装Hadoop
Hive是基于Hadoop的,因此需要先安装Hadoop。可以从Hadoop官网上下载最新版本的软件包,也可以通过以下命令来下载:
wget -3.3.1/hadoop-3.3.1.tar.gz
下载完成后,解压并移动到合适的目录下:
tar -zxvf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop
配置Hadoop
在安装Hadoop之后,需要进行一些配置。需要修改hadoop-env.sh文件,添加JAVA_HOME变量:
sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
在文件中添加以下内容:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
需要修改core-site.xml文件,添加以下内容:
fs.defaultFShdfs://localhost:9000
需要修改hdfs-site.xml文件,添加以下内容:
dfs.replication1dfs.namenode.name.dirfile:/usr/local/hadoop/hadoop_data/hdfs/namenodedfs.datanode.data.dirfile:/usr/local/hadoop/hadoop_data/hdfs/datanode
需要修改mapred-site.xml文件,添加以下内容:
mapreduce.framework.nameyarn
启动Hadoop
配置完成后,可以启动Hadoop:
sudo /usr/local/hadoop/sbin/start-dfs.sh
sudo /usr/local/hadoop/sbin/start-yarn.sh
可以通过以下命令来检查Hadoop是否启动成功:
jps
如果成功启动,会显示以下内容:
NodeManager
ResourceManager
NameNode
SecondaryNameNode
DataNode
下载和安装Hive
可以从Hive官网上下载最新版本的软件包,也可以通过以下命令来下载:
wget -3.1.2/apache-hive-3.1.2-bin.tar.gz
tar -zxvf apache-hive-3.1.2-bin.tar.gz
sudo mv apache-hive-3.1.2-bin /usr/local/hive
配置Hive
在安装Hive之后,需要进行一些配置。需要修改hive-env.sh文件,添加Hadoop的配置:
sudo vi /usr/local/hive/conf/hive-env.sh
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
需要修改hive-site.xml文件,添加以下内容:
javax.jdo.option.ConnectionURLjdbc:derby:;databaseName=/usr/local/hive/metastore_db;create=truejavax.jdo.option.ConnectionDriverNameorg.apache.derby.jdbc.EmbeddedDriverjavax.jdo.option.ConnectionUserNamehivejavax.jdo.option.ConnectionPasswordhive.metastore.warehouse.dir/usr/local/hive/warehouse
需要创建Hive使用的数据库:
sudo /usr/local/hive/bin/schematool -initSchema -dbType derby
启动Hive
配置完成后,可以启动Hive:
/usr/local/hive/bin/hive
hive>
可以输入以下命令来测试Hive是否正常工作:
create table test(id int, name string);
insert into test values(1, 'test');
select * from test;
如果一切正常,会显示以下内容:
1 test
小结
通过本文,您已经学会了在CentOS上安装和配置Hive的方法。Hive是一个非常强大的数据仓库工具,可以帮助您进行数据的提取、转换和加载等操作。如果您有任何问题或建议,请在评论区留言。