Mac及Linux环境下配置Spark

2023年 10月 16日 94.2k 0

准备Spark

下载Spark

💡这里以Spark 3.3.3为例。

前往Apache Spark官网下载spark-3.3.3-bin-hadoop3.tgz。

解压Spark

将下载的包解压至安装目录,这里以/usr/local为例:

sudo tar -zxvf spark-3.3.3-bin-hadoop3.tgz -C /usr/local/

修改spark目录的权限:

sudo chmod -R 777 spark-3.3.3-bin-hadoop3/

配置环境变量

根据当前使用的Shell在对应的配置文件中添加环境变量,这里以ZSH的~/.zshrc为例:

export SPARK_HOME=/usr/local/spark-3.3.3-bin-hadoop3/
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

添加完成后使用source ~/.zshrc命令使配置生效。

启动Spark

前往$SPARK_HOME/sbin目录下,执行如下命令启动Spark:

./start-master.sh

访问WebUI

在本地浏览器中访问http://localhost:8080,如果成功打开Spark WebUI,说明配置并启动成功。

Spark WebUI

相关文章

服务器端口转发,带你了解服务器端口转发
服务器开放端口,服务器开放端口的步骤
产品推荐:7月受欢迎AI容器镜像来了,有Qwen系列大模型镜像
如何使用 WinGet 下载 Microsoft Store 应用
百度搜索:蓝易云 – 熟悉ubuntu apt-get命令详解
百度搜索:蓝易云 – 域名解析成功但ping不通解决方案

发布评论