大数据 spark JobHistoryServer 配置 修改 spark-default.conf.template 名称 mv spark-defaults.conf.template spark-defaults.conf 修改 spark-defau... 02月03日 2,222 views 发表评论 阅读全文
大数据 Maven配置流程兼hadoop本地配置和lomkok 项目文件夹迁移需要删除IDEA文件夹 解压 环境变量 解压maven 配置地址 配置镜像 在path中添加变量 <dependencies> <depend... 02月03日 2,733 views 发表评论 阅读全文
大数据 spark分布式搭建 standalone模式: 分别修改conf下的slaves和spark-env.sh文件 然后启动sbin/start-all.sh,即可使用jps看到相关的进程 同时可... 02月02日 2,929 views 发表评论 阅读全文
大数据 spark基础 懒人版(基础): 下载,解压,粘贴以下代码即可运行成功(example里面的文件) bin/spark-submit \ --class org.apache.spark.examples.Spark... 02月02日 2,184 views 发表评论 阅读全文
java Hadoop分布式搭建过程 HDFS架构: 知识点: 1.X 和2.X区别: 单点故障: 1.X主机挂掉就完了,2.X主机挂掉会自动从datanode中选出Namenode(热备)secondarynamenode(冷备) ya... 05月30日 2,022 views 发表评论 阅读全文