flume和logstash区别tank的区别

来源：蜘蛛抓取(WebSpider) 时间：2018-11-20 12:53 标签：

随着大数据越来越被重视数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

任何完整的大数据平台一般包括以下的几个过程：

数据采集-->数据存储-->数據处理-->数据展现(可视化，报表和监控)

其中数据采集是所有数据系统必不可少的，随着大数据越来越被重视数据采集的挑战也变的尤为突出。这其中包括：

  • 如何保证数据采集的可靠性的性能

我们今天就来看看当前可用的六款数据采集的产品重点关注它们是如何做到高可靠，高性能和高扩展

Logstash的部署架构如下图，当然这只是一种部署的选项

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的數据系统使用ElasticSearch的情况下logstash是首选。

Scribe是Facebook开发的数据(日志)收集系统已经多年不维护，同样的就不多说了。

以上的所有系统都是开源的在商业化的大数据平台产品中，Splunk提供完整的数据采金数据存储，数据分析和处理以及数据展现的能力。

Splunk是一个分布式的机器数据平台主要有三个角色：

  1. Search Head负责数据的搜索和处理，提供搜索时的信息抽取
  2. Indexer负责数据的存储和索引
  3. Forwarder，负责数据的收集清洗，变形并发送给Indexer

Splunk内置了对Syslog，TCP/UDPSpooling的支持，同时用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用例如AWS，数据庫(DBConnect)等等可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是Search Head和Indexer都支持Cluster的配置，也就是高可用高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断并不能把正在运行的数据采集任务Failover到其咜的 Farwarder上。

我们简单讨论了几种流行的数据收集平台它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入输出和中间的緩冲的架构。利用分布式的网络连接大多数平台都能实现一定程度的扩展性和高可靠性。

其中FlumeFluentd是两个被使用较多的产品。如果你用ElasticSearchLogstash吔许是首选，因为ELK栈提供了很好的集成Chukwa和Scribe由于项目的不活跃，不推荐使用

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制相信Splunk很快会开发出更好的数据收集的解决方案。


我要回帖

 

随机推荐