Heka

• 日志收集服务
• 流式
• Mozilla出品
• Golang编写
• 轻量却功能强大
• 灵活易用
• Go/Lua扩展

Heka用户

• Mozilla(FireFox)
• Disqus(最流行的评论服务)

Heka架构

Inputs

用于接收数据，有多种输入方式，如：

• 文件
• TCP
• 消息队列如AMQP
• 系统命令输出

Splitters

用于将Input收到的数据进行拆分，比如按换行符

Decoders

解析Input/Split之后的数据

• Nginx/Apache Access Log
• GeoIP
• syslog
• MultiDecoder，把多个Decoder整合起来一起用
• 还有很多等等，以及很方便的Lua扩展

Filters

消息处理引擎，可以进行过滤、计算、聚合

Encoders

在输出到Output前将数据处理成Output支持的数据格式 - 有许多常用插件，以及很方便的Lua扩展

Outputs

可以同时多个输出落地，如：

• ElasticSeasrch
• TCP
• AMQP
• HTTP
• 还有很多等等，以及很方便的Lua扩展

日志收集架构

1.至简

heka logstreamer Input-> Output到最终落地

2.性能扩展

heka logstreamer Input-> TCP Output -> 汇总层heka TCP Input -> Output到最终落地

3.性能扩展(使用队列)

heka logstreamer Input-> AMQP(Kafka) Output -> 汇总层heka AMQP(Kafka) Input -> Output到最终落地

性能测试

环境：4 CPU虚拟机，CentOS 6.5 syslog协议+文件输出，可达到34K/s