flume

日志收集系统
image
Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。它支持在日志系统中定制各类数据发送方，用于收集数据，并提供对数据进行简单处理的能力。Flume可以将处理后的数据写入各种数据接受方，这些接受方可以根据需要进行定制。目前，Flume有两个版本：Flume-og和Flume-ng。Flume-ng经过重大重构，与Flume-og有很大不同，使用时需要注意区分。

日志收集

Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。

数据处理

Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统），支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。