Posts under tag "elk"
EFK日志体系快速入门
7月,远方的风暴。
Elasticsearch、Filebeat、Kibana 合称EFK,常用于构建企业级的日志系统。Filebeat 在其中负责数据的采集:读取日志文件,将其发往Elasticsearch;Elasticsearch是数据库,处理和存储Filebeat发过来的数据;Kibana是UI,用于查询Elasticsearch中的数据。三者协作,构成了完整的日志平台。此外,Elasticsearch具有强大的全文搜索能力,也常在业务上用作搜索引擎。
本文将使用docker compose编排Nginx、Filebeat、Elasticsearch和Kibana,实现将Nginx的access log分字段解析后存储到Elasticsearch,并在Kibana上展示和查询。
kibana中的搜索和匹配
本来我是忠实的命令行党,有awk和grep在手,没有处理不了的日志。但是随着日志越来越分布,日志量越来越庞大,awk和grep就不是那么合适了。于是决定还是老老实实和大家一起用elk做日志分析。下面是从小白到进阶使用正则做匹配的过程,只是提纲挈领的入门过程而已,每个阶段选择了几个Nginx日志场景做样例。