编程电脑技术交流

时间戳拦截器 Timestamp.conf #1.定义agent名， source、channel、sink的名称 a4.sources = r1 a4.channels = c1 a4.sinks ...

目标：flume11监控文件hive.log，flume-22监控某一个端口的数据流，flume11与flume-22将数据发送给flume-33，flume33将最终数据写入到HDFS。 分步实现：...

目标：使用flume1监控文件变动，flume1将变动内容传递给flume-2，flume-2负责存储到HDFS。同时flume1将变动内容传递给flume-3，flume-3负责输出到local 分...

监控文件夹： 尖叫提示： 在使用Spooling Directory Source时 1) 不要在监控目录中创建并持续修改文件 2) 上传完成的文件会以.COMPLETED结尾 3) 被监控文件夹每5...

配置： 上传，解压 进入conf 在flume.env.sh下面引入JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 conf文件夹同级创建一个j...

  yarn-site.xml同步更新其他节点的配置信息（configure整个复制粘贴，可对比查看前后） <configuration> <property> &l...

在所有机器hdfs-site.xml中增加   <property> <name>dfs.ha.automatic-failover.enabled</name...

  完全分布式搭建 在前面单机版搭建成功的基础上： 修改网卡地址并重启网卡： 重启网卡 service newtork restart 设置主机名： hostnamectl set-host...

创建一个HAtest文件，可以循环创建 mkdir -vp /opt/module/HA 复制或者解压一个过去（此处是从前面分布式直接复制）：cp -r hadoop2.8.4  HA 配置java环...