时序分析场景
时序数据是按时间顺序记录设备、系统状态变化的数据。典型的时序数据有传统的服务器监控指标数据、应用系统性能监控数据、智能硬件、工业物联网传感器数据等。 早在2017年我们也基于ES进行了时序分析场景的探索。时序分析场景具有高并发写入、低查询时延、多维分析的特点。 由于ES具有集群扩展、批量写入、读写带路由、数据分片等能力，目前已实现线上单集群最大规模达到600+ 节点、1000w/s的写入吞吐、单条曲线或单个时间线的查询延时可控制在10ms。 ES提供灵活、多维度的统计分析能力，实现查看监控按照地域、业务模块等灵活的进行统计分析。另外，ES支持列存储、高压缩比、副本数按需调整等能力，可实现较低存储成本。最后时序数据也可通过Kibana组件轻松实现可视化。
Read more
日志实时分析场景
日志是互联网行业基础广泛的数据形式。典型日志有用来定位业务问题的运营日志，如慢日志、异常日志；用来分析用户行为的业务日志，如用户的点击、访问日志；以及安全行为分析的审计日志等。 Elastic生态提供了完整的日志解决方案。通过简单部署，即可搭建一个完整的日志实时分析服务。ES生态完美的解决了日志实时分析场景需求，这也是近几年ES快速发展的一个重要原因。 日志从产生到可访问一般在10s级，相比于传统大数据解决方案的几十分钟、小时级时效性非常高。 ES底层支持倒排索引、列存储等数据结构，使得在日志场景可以利用ES非常灵活的搜索分析能力。通过ES交互式分析能力，即使在万亿级日志的情况下，日志搜索响应时间也是秒级。 日志处理的基本流程包含：日志采集-> 数据清洗-> 存储-> 可视化分析。Elas..
Read more