scala> var rdd1 = sc.textFile("hdfs://bigdata111:9000/spark/test_Cache.txt&quo...
大数据
大数据
大数据
CDH部署
安装分布式，标准：各机器能ping通各机器，且都能ssh对方，见hadoop分布式 小坑：快照还原不统一导致证书无法识别也无法覆盖，使用-f命令即可： ssh-copy-id -f bigdata16...
大数据
hbase操作指令
启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如： http://bigdata111:16010 2.2 基本操作 进入HBase客户端命令行 bin/h...
大数据
hbase基础
部署： 首先保证Zookeeper集群的正常部署，并启动之： /opt/module/zookeeper-3.4.5/bin/zkServer.sh start Hadoop集群的正常部署并启动： /...
IT技术
Zookeeper分布式秒杀锁
package MiaoSha; import org.apache.curator.CuratorConnectionLossException; import org.apache.curator...
java
Zookeeper API
import org.apache.zookeeper.*; import org.apache.zookeeper.data.Stat; import org.junit.Before; impor...
IT技术
Zookeeper操作
启动： zkCli.sh 退出ctrlC 命令基本语法 功能描述 help 显示所有操作命令 ls path 使用 ls 命令来查看当前znode中所包含的内容 ls2 path 查看当前节点数据并...
大数据
zookeeper搭建
所谓的奇数台服务器是根据配置文件来的。 剩下机器不超过半数则全部Not running 搭建： 复制文件到/opt/module/中 zk目录下新建zkData目录 修改conf下的zoo-sampl...
大数据
crontab定时任务：
crontab -e, -l, -r -e： 编辑crontab定时任务 -l： 查询crontab任务 -r： 删除当前用户所有的crontab任务 案例： */1 * * * * date ...
大数据
Spark高可用配置方法
架构图： 1） zookeeper 正常安装并启动2） 修改 spark-env.sh 文件添加如下配置：vi spark-env.sh注释掉如下内容：#SPARK_MASTER_HOST=bigda...