准备Spark
下载Spark
💡这里以Spark 3.3.3为例。
前往Apache Spark官网下载spark-3.3.3-bin-hadoop3.tgz。
解压Spark
将下载的包解压至安装目录,这里以/usr/local
为例:
sudo tar -zxvf spark-3.3.3-bin-hadoop3.tgz -C /usr/local/
修改spark目录的权限:
sudo chmod -R 777 spark-3.3.3-bin-hadoop3/
配置环境变量
根据当前使用的Shell在对应的配置文件中添加环境变量,这里以ZSH的~/.zshrc
为例:
export SPARK_HOME=/usr/local/spark-3.3.3-bin-hadoop3/
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
添加完成后使用source ~/.zshrc
命令使配置生效。
启动Spark
前往$SPARK_HOME/sbin
目录下,执行如下命令启动Spark:
./start-master.sh
访问WebUI
在本地浏览器中访问http://localhost:8080
,如果成功打开Spark WebUI,说明配置并启动成功。