spark分布式搭建

2022年2月2日21:38:09 发表评论 2,865 views

standalone模式:

 

spark分布式搭建

 

分别修改conf下的slaves和spark-env.sh文件

spark分布式搭建

spark分布式搭建

然后启动sbin/start-all.sh,即可使用jps看到相关的进程

同时可用8080端口查看spark控制台

spark分布式搭建

spark分布式搭建

 

其它:可尝试用xsync spark/ 分发配置文件

运行案例:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata111:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

同时输出结果可现实非local模式。

 

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: