如何构建日志分析平台

1、最传统的对日志的分析使用，主要是将日志导入数据库进行分析，但能够适应的日志格式有限；随着技术的发展，Hadoop和nosql在日志分析中被逐步应用。

2、随着大数据技术的进一步发展，实时、灵活和全文检索变成了对日志分析的进一步要求；展望未来，日志分析领域必然引入机器学习和人工智能。

3、日志分析平台的发展趋势，应该是走向能够支持非结构化、海量的数据分析，同时快速、灵活、智能的提供分析结果。

4、日志分析平台的功能层应该包括数据采集层，数据流式处理层，数据持久化层，数据检索层和用户交互层。

5、为了更好的适应各种场景，日志分析平台应该能够支持各种数据源：网络设备、安全设备、操作系统、数据库、中间件以及业务系统。

6、日志的主动采集，一般有通过agent和基于ssh两种方式，前者管理方便，且容易支持负载均衡，后者资源消耗较小，对网络依赖高。

7、丰富的日志格式化处理规则，对于一个日志平台的成功起着非常重要的作用：json、java、apache、mysql等各种常见日志格式，k-v格式，正则语法的解析都必不可少。

8、另外，提供google式的日志查询，通过支持自然语义的处理，能够为使用者提供更便捷的访问；灵活的上下文查看，也可以极大的方便使用者。