Logstash 日志grok解析以及主键更新
工作时候遇到了日志解析入库的配置,过程不复杂但是很经典,这里记录一下 Logstash 的日志解析的配置过程,以及设计到的主键的替换。 Grok 原始日志处理 原始日志的内容如下面给出: [error][2020-08-07T00:00:24.520Z] re… 阅读更多 »Logstash 日志grok解析以及主键更新
工作时候遇到了日志解析入库的配置,过程不复杂但是很经典,这里记录一下 Logstash 的日志解析的配置过程,以及设计到的主键的替换。 Grok 原始日志处理 原始日志的内容如下面给出: [error][2020-08-07T00:00:24.520Z] re… 阅读更多 »Logstash 日志grok解析以及主键更新
目前只是ES查询的初步入门,只是到一个会用的阶段。
前面接触的都是当一个框架进行直接的使用,现在需要了解其查询方式以及语法了,所以有该文。
因为es是使用的局域网环境,所以就打算直接监听0.0.0.0
这样内网的服务都可以访问到它。
但是在设置network.host: 0.0.0.0
这一参数之后,发现没有9200端口的监听了。
最后结合着日志和部分现有的方法解决这个问题。遂在这里记下来。
这篇算是一个自己的实践贴,虽然都可以看到有现成的方案。但是其中有一些坑,还是自己得记下来。
logstash的filter需要大量的规则来对输入的数据进行大量if操作,这篇文章来写写,怎么把冗余的配置变得稍稍优雅一点。
又有接触到新的东西还是蛮开心的,这次整上的开源组件是Kafka。读音卡夫卡。
一眼看起来,是一个高端玩意,刚刚接触的时候有些害怕自己驾驭不住,后面发现,还行,简单好用。
所以这篇文章,就来介绍一下卡夫卡,以及简简单单的进行一个指北。