日志是互联网行业基础广泛的数据形式。典型日志有用来定位业务问题的运营日志,如慢日志、异常日志;用来分析用户行为的业务日志,如用户的点击、访问日志;以及安全行为分析的审计日志等。

Elastic生态提供了完整的日志解决方案。通过简单部署,即可搭建一个完整的日志实时分析服务。ES生态完美的解决了日志实时分析场景需求,这也是近几年ES快速发展的一个重要原因。

日志从产生到可访问一般在10s级,相比于传统大数据解决方案的几十分钟、小时级时效性非常高。

ES底层支持倒排索引、列存储等数据结构,使得在日志场景可以利用ES非常灵活的搜索分析能力。通过ES交互式分析能力,即使在万亿级日志的情况下,日志搜索响应时间也是秒级。

日志处理的基本流程包含:日志采集-> 数据清洗-> 存储-> 可视化分析。ElasticStack通过完整的日志解决方案,帮助用户完成对日志处理全链路管理。

其中:

  • 日志采集:通过轻量级日志采集组件FileBeat实时读取业务日志文件,发送数据至下游组件如Logstash。
  • 文本解析:利用正则解析等机制,将日志文本数据转换成结构化数据。可使用独立的Logstash服务或Elasticsearch内置的轻量级数据处理模块IngestPipe-line,完成数据清洗和转换。
  • 数据存储:通过Elasticsearch搜索分析平台进行数据持久存储,提供全文搜索和分析能力。
  • 可视化分析:通过功能丰富的图形界面,即可对日志数据进行搜索分析,如可视化组件Kibana。