博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Flume的Collector
阅读量:7225 次
发布时间:2019-06-29

本文共 480 字,大约阅读时间需要 1 分钟。

Collector的作用是将多个Agent的数据汇总后,加载到Storage中。它的source和sink与agent类似。

 

数据源(source),如:

  collectorSource[(port)]:Collector source,监听端口汇聚数据。

  autoCollectorSource:通过master协调物理节点自动汇聚数据。

  logicalSource:逻辑source,由master分配端口并监听rpcSink。

 

sink,如:

collectorSink( “fsdir”,”fsfileprefix”,rollmillis):collectorSink,数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录,fsfileprefix为文件前缀码。

  customdfs(“hdfspath”[, "format"]):自定义格式dfs。

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6784963.html,如需转载请自行联系原作者

你可能感兴趣的文章
浅谈JavaScript的面向对象和它的封装、继承、多态
查看>>
laravel with 查询列表限制条数
查看>>
Python爬虫--- 1.3 BS4库的解析器
查看>>
CentOS从零开始部署Nodejs项目
查看>>
React组件设计模式(一)
查看>>
express.js的介绍及使用
查看>>
闭包--闭包之tab栏切换(四)
查看>>
Elasticsearch 参考指南(升级前重新索引)
查看>>
Synchronized 关键字使用、底层原理、JDK1.6 之后的底层优化以及 和ReenTrantLock 的对比...
查看>>
浅析微信支付:申请退款、退款回调接口、查询退款
查看>>
基于axios的vue插件,让http请求更简单
查看>>
问:在指定的JSON数据中(最外层是数组)根据指定条件拿到匹配到的结果
查看>>
Kibana配置logstash,报表一体化
查看>>
算法-图和图算法
查看>>
Babel配置的不完全指南
查看>>
【附node操作实例】redis简明入门系列—字符串类型
查看>>
设计模式走一遍---观察者模式
查看>>
Docker 笔记(2):Dockerfile
查看>>
聊聊sentinel的DegradeSlot
查看>>
不发不行!Netty集成文字图片聊天室外加TCP/IP软硬件通信
查看>>