standalone模式:
分别修改conf下的slaves和spark-env.sh文件
然后启动sbin/start-all.sh,即可使用jps看到相关的进程
同时可用8080端口查看spark控制台
其它:可尝试用xsync spark/ 分发配置文件
运行案例:
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata111:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100
同时输出结果可现实非local模式。