环境macos 10.14
- 安装Java 8，系统默认是Java 10，需到oracle官网下载并手动安装
- 安装scala,
brew install scale - python版本，建议python 2.7
- 安装spark,
brew install apache-spark - 调整配置文件vi ~/.bash_profile，注意版本号调整到正常
export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.4/libexec
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/python:$PATH
- 重新加载配置文件
source ~/.bash_profile - 一定要点击左下角切换python版本，为安装了pyspark的版本
- 打开.py文件，点击右上角的
运行按钮即可 - 点击调试，自动生成launch.json文件，便可以断点调试
可选步骤
- VSCode 安装
Spark & Hive Tools