架构图：
技术选型：
exec source + memory channel + avro sink
avro source + memory channel + logger sink
1)server A 数据收集端
在cd $FLUME_HOME/conf
vim exec-memory-avro.conf
#exec-memory-a……继续阅读 »
admin
2年前 (2018-09-20) 36浏览 0评论
0个赞
在cd $FLUME_HOME/conf
vim exec-memory-logger.conf
#exec-memory-logger.conf内容
# a1可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成
# sources可以看做是数据源头、channels是中间转存的渠道、sinks是数据后面的……继续阅读 »
admin
2年前 (2018-09-20) 30浏览 0评论
0个赞
1、使用Flume的关键就是写配置文件
1）配置Source
2）配置Channel
3）配置Sinks
4）将以上三种组件串联起来
在cd $FLUME_HOME/conf
vim example.conf
#example.conf内容
# a1可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成
# ……继续阅读 »
admin
2年前 (2018-09-20) 40浏览 0评论
0个赞
一、业务现状分析
在现实业务中我们有很多服务和系统，包括：
1)network devices 网络设备
2)operating system 操作系统
3)web servers
4)Applications 应用
这些系统产生大量的日志和生产数据，
那么我们需要将以上系统中的日志文件迁移到Hadoop集群中，
在这个过程中，我们有以下几种方式：
1)直接……继续阅读 »
admin
2年前 (2018-09-20) 112浏览 0评论
0个赞
