grok不匹配怎么办？ - 开源中国社区
当前访客身份：游客 [
当前位置：
1：若有些log内容对于 grok中的match 语句是不匹配的，那么他会自动在tags中添加&_grokparsefailure&，如何去掉这些&&_grokparsefailure& 呢？
2：grok中如何正确的写多个&match 语句？我现在写了多个语句，导致了&_grokparsefailure& 频繁出现，怎么杜绝呢？
3：grep 里面没有&patterns_dir 属性，也没法在grep 里面过滤啊？
请高人指点，谢谢。
共有1个答案
<span class="a_vote_num" id="a_vote_num_
if &_grokparsefailure& in [tags] { drop { } }
2.match语句跟第一个一样的 &没啥要点，看着官网例子搞就行了
3.尽量用grok吧 ，grep功能以后要去掉的。
更多开发者职位上
有什么技术问题吗？
smcboy...的其它问题
类似的话题Logstash - 开源中国社区
当前访客身份：游客 [
当前位置：
介绍 本文解释应用程序中的错误和调试日志的最佳实践。应用日志是一个非常重要的“工具”用来帮你查明具问题。如果有一个基础架构用来记录应用中的日志和事件，那么...
想请教大家，如何使用logstash 跟 elasticSearch，我看官网上流程有点混乱，不知如何将logstash跟elasticSearch结合，...
看红薯推荐了这个软件，正好在找这种解决方案，就试用了下，调查的另外一个解决方案是splunk。 公司的log数据都是log4net的，文件存放在windo...
目前我正在用ELK做统一日志收集系统。
官网上介绍时都强调了一般都用redis作为缓冲中间件，也就是：
input:fil...
新手想请教个问题，按网上教程搭建的logstash+elasticsearch，搭好后按词查看数据时发现一个问题，比如查看path， 我的path是/va...
在官方上有几个例子 http://logstash.net/docs/1.1.0/tutorials/10-minute-walkthrough/ 其中如...
环境：centos6.5 64位 安装日志分析系统， Logstash+ElasticSearch+Kibana4基本上安装网上说明安装的。没有安装ngi...
配置信息如下，总是报错，感觉没什么错的，跟官网提供的没区别： filter {
if [type] == "tomcat1-log" {
我在使用logstash + Kibana3 时发现，kibana使用的时区是utc，我想的问的是，修改kibana的哪个文件才能使用中国时区的时间呢？
Logstash 如果输入中文，配置文件如下，输出的怎么是乱码呢？ input {
codec =& plain{
kibana版本是4.0，没有办法对搜索结果进行排序，如图： 鼠标移到Time那一栏会显示“sort by Time”，但是点击没有反应，也没有排序 在g...
1：若有些log内容对于 grok中的match 语句是不匹配的，那么他会自动在tags中添加"_grokparsefailure"，如何去掉这些 "_g...
LogStash将output配置为Elasticsearch时，是指定host的配置为Elasticsearch集群中Mster的IP地址。 但不知道如...
因为业务上的原因，现在想使用logstash来远程监控一台windows上面的日志变化(windows是台UAT部署机，不想装别的软件)，logstash...
想请教一下搭建过logstash朋友们。最近在学习logstash，参考了《logstash book》这本书和网上别人的文档，发现绝大多数使用的是inp...
最近想在项目中增加一个日志管理系统,但是对于这个模块的构建没有任何的思路,也不清楚怎样处理问题是合理的,我自己也上网找了一下关于这方面的资料,包括logs...
目前正在集成elk，通过logstash收集logback产生的日志，elk已搭建好部署在同一台机器（我个人pc） 下面是logstash的配置作为服务通...
我在HP下运行logstash提示 NotImplementedError: stat.st_dev unsupported or native supp...
由于担心redis单机挂掉导致logstash，参考了：/articles/EVzEZzn 搭建了redis的...
logstash版本：1.5.2 安装命令：bin/plugin install logstash-output-mongodb 错误信息：MultiBy...
logstash在linux中收集/var下的日志很慢，有什么可能的原因吗？求提醒。。。日志有6个，每个将近5MB大小。。。这是在agent上的日志，大概...
问下elk如何在前段web（kibana）中设置规则 来进行邮件的报警，有插件可以实现吗？ ps：我说的不是用脚本来哦，比如说在kibana界面配置规则来...
环境如下： OS：Red Hat Enterprise Linux Server release 5.8 (Tikanga) 内存：8G java ver...
这个是我的配置input 和 output 忽略 filter { grok { match=& { "message" =& "%{DATE...
各个系统中的应用日志，比如tomcat等，多少都会有些敏感数据打出来（比如客户的身份证号等） 我现在想实现一套日志的查阅和自动过滤的系统， 能够根据规则自...
@卢禹 你好，想跟你请教个问题：我现在有个需求，用logstash抓取日志到kafka以后，同时做实时日志监控，和日志静态分析，实时日志监控用ELK实现，...
@Jasecd 你好，想跟你请教个问题： Logstash+ElasticSearch+Kibana日志分析 我现在也在弄这个，云里雾里的很是不明白？？您...
报错信息如下：
Faraday::ConnectionFailed: Connection refused - Connection refused
@杨小杨 你好，想跟你请教个问题： http://my.oschina.net/UpBoy/blog/706557
我按照你写的步骤 弄到 配置ok ...
如题，本人初学logstash，想过滤指定字符开头的日志，并且标准输出整行，请问配置怎么写。
所监控的日志更新后，标准输出到屏幕可以实时监控，然而输出到文件不进行更新？
用ELT监控日志， 原来日志文件 一般都不显示行号的， 采集之后关键信息很多重复，在界面上无法对应具体那一样行了 如果在过滤时候添加行号这个关键字段呀
自定义了一个时间格式的pattern，在Grok Debugger上可以通过测试，但在真正的环境测试时只能匹配一部分。 时间格式例子：Oct 27, 20...
问题描述：Ubuntu安装logstash2.3 ，root用户从命令行执行logstash 可以正常输出到文件 ./bin/logstash -f /e...
请问128.241.220.82 - - [21/Dec/:54] "GET /oldlink?itemId=EST-21&JSESS...
日志示例：
[INFO]-[com.asin.module.industry.init()]: 初始化==nul...
配置文件如下 input{
stdin{} } filter {
match =& { "me...
logstash是用ruby语言写的，为什麽需要jdk？ 真的搞不懂 还有我用yum安装的logstash，init脚本启动logstash居然启动不了 ...
使用filebeat抓取了mysql的慢SQL，传递到logstash进行过滤。 问题：
1.logstash 添加了gsub规则删除#Time的...
请问这样的日志格式怎么写logstash的配置文件呢？日志文件见复件，小弟刚刚学logstash不知道怎么写，有帮忙的吗？ 日志格式如下
1449265...
找不到我想要的答案？1.logstash的概念及特点。概念：logstash是一个数据采集、加工处理以及传输(输出)的工具。特点：　　- 所有类型的数据集中处理　　- 不同模式和格式数据的正常化　　- 自定义日志格式的迅速扩展　　- 为自定义数据源轻松添加插件
2.logstash安装配置。①.下载安装[root@node1 ~]# wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.4-1.noarch.rpm[root@node1 ~]# rpm -ivh logstash-2.3.4-1.noarch.rpm②.简单测试logstash,启动后输入"hello,xkops"。[root@node1 ~]# /opt/logstash/bin/logstash -e 'input{ stdin{} } output{ stdout{} }'*提示：如果输出"hello,xkops",则证明logstash启动成功。③.以服务启动方式。[root@node1 ~]# service logstash start总结：logstash三种启动方式，-e sting类型启动，-f 指定配置文件启动，服务启动。
3.logstash配置语句详解。logstash配置文件包含三个配置部分，分别为：input{}、filter{}、output{}。{} 定义区域，区域内可以定义一个或多个插件，通过插件对数据进行收集，加工处理，输出。
数据类型：& 布尔值类型: ssl_enable =& true& 字节类型:
bytes =& "1MiB"& 字符串类型: name =& "xkops"& 数值类型:
port =& 22& 数组:
match =& ["datetime","UNIX"]& 哈希:
options =& {key1 =& "value1",key2 =& "value2"}& 编码解码:
codec =& "json"& 路径:
file_path =& "/tmp/filename"& 注释:
条件判断：& 等于:
==& 不等于:
&& 小于等于:
&=& 大于等于:
&=& 匹配正则:
=~& 不匹配正则: !~& 包含:
in& 不包含:
not in & 与:
nand& 非或:
xor& 复合表达式: ()& 取反符合:
4.logstash常用插件。类型：& input类：也就是在input区域内定义使用的插件。& codec类：定于处理数据格式，如plain,json，json_lines等格式。这个可以定义在input、output区域中。& filter类：也就是在filter区域内定义使用的插件。& output类：也就是在output区域内定义使用的插件。各类插件地址：/logstash-plugins
----------------------input类插件-------------------------------input类插件，常用的插件：file、tcp、udp、syslog，beats等。①.file插件：file插件字段解释：codec =&
#可选项，默认是plain，可设置其他编码方式。discover_interval =& #可选项，logstash多久检查一下path下有新文件，默认15s。exclude =& #可选项，排除path下不想监听的文件。sincedb_path =& #可选项，记录文件以及文件读取信息位置的数据文件。~/.sincedb_xxxxsincedb_write_interval =& #可选项，logstash多久写一次sincedb文件，默认15s.stat_interval =& #可选项，logstash多久检查一次被监听文件的变化，默认1s。start_position =& #可选项，logstash从哪个位置读取文件数据，默认从尾部，值为：end。初次导入，设置为：beginning。path =& #必选项，配置文件路径，可定义多个。tags =& #可选项，在数据处理过程中，由具体的插件来添加或者删除的标记。type =& #可选项，自定义处理时间类型。比如nginxlog。
实例:[root@node1 conf.d]# cat /tmp/file{1,2}.logThis is test file-plugin in file1.logThis is test file-plugin in file2.log[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat file.conf
start_position =& "beginning"
path =& ["/tmp/file1.log","/tmp/file2.log"]
type =& 'filelog'
[root@node1 conf.d]# /opt/logstash/bin/logstash -f file.conf -tConfiguration OK[root@node1 conf.d]# /opt/logstash/bin/logstash -f file.conf Settings: Default pipeline workers: 1Pipeline main startedT02:50:07.410Z node1 This is test file-plugin in file1.logT02:50:07.428Z node1 This is test file-plugin in file2.log*提示：能够输出内容则证明file插件正常工作。
②.tcp插件:tcp插件字段解释：add_field =& #可选项，默认{}。codec =& #可选项，默认plain。data_timeout =& #可选项，默认-1。host =& #可选项，默认0.0.0.0。mode =& #可选项，值为["server","client"]之一，默认为server。port =& #必选，端口。ssl_cacert =& #可选项，定义相关路径。ssl_cert =& #可选项，定义相关路径。ssl_enable =& #可选项，默认为false。ssl_key =& #可选项，定义相关路径。ssl_key_passphrase =& #可选项，默认nilssl_verify =& #可选项，默认false。tags =& #可选项type =& #可选项
实例：[root@node1 conf.d]# cat /tmp/tcp.log this is test tcp-plugin in tcp.logsend tcplog dataoutput tcplog data[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat tcp.conf
host =& "127.0.0.1"
port =& 8888
type =& "tcplog"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f tcp.conf此时开启另个终端，使用nc开启一个tcp端口8888，并将数据推送到8888端口。[root@node1 conf.d]# nc 127.0.0.1 8888 & /tmp/tcp.log *提示：前一个终端如果出现数据，则证明tcp插件工作正常。
③udp插件：udp插件字段解释：add_field =& #可选项，默认{}。host =& #可选项，默认0.0.0.0。queue_size =& #默认2000tags =& #可选项type =& #可选项workers =& #默认为2
实例：[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat udp.conf
host =& "127.0.0.1"
port =& 9999
[root@node1 conf.d]# /opt/logstash/bin/logstash -f udp.conf打开另一终端执行如下脚本，并输入内容："hello,udplog"。[root@node1 conf.d]# cat /tmp/udpclient.py&
#/usr/bin/env python
import socket
host = "127.0.0.1"
port = 9999
file_input = raw_input("Please input udp log: ")
s = socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
s.sendto(file_input,(host,port))
*提示：如果前一个终端收到日志，则证明udp插件工作正常。
④.syslog插件：实例：[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat syslog.conf
host =& "127.0.0.1"
port =& 518
type =& "syslog"
[root@node1 conf.d]# echo '*.* @@127.0.0.1:518' && /etc/rsyslog.conf[root@node1 conf.d]# /etc/init.d/rsyslog restart关闭系统日志记录器：
[确定]启动系统日志记录器：
[确定][root@node1 conf.d]# /opt/logstash/bin/logstash -f syslog.conf 使用logger命令向系统写入日志：[root@node1 conf.d]# logger
*提示：此处随便输入内容，查看前一个终端是否会有内容输出，如果输出则证明syslog插件工作正常。
--------------------------codec类插件------------------------------------codec类插件，常用的插件：plain、json、json_lines、rubydebug、multiline等。①.plain插件：实例：[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat plain.conf
codec =& "plain"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f plain.conf 输入信息查看输出。
②.json插件：实例：[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat json.conf
codec =& "json"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f json.conf 输入信息查看输出。
③.json_lines插件：(json文本过长时使用)实例：[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat jsonlines.conf
host =& "127.0.0.1"
port =& 8888
codec =& "json_lines"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f jsonlines.conf 启动一个新的终端，执行如下命令。[root@node1 conf.d]# cat /tmp/jsonlines.txt You run a price alerting platform which allows price-savvy customers to specify a rule like "I am interested in buying a specific electronic gadget and I want to be notified if the price of gadget falls below $X from any vendor within the next month". In this case you can scrape vendor prices, push them into Elasticsearch and use its reverse-search (Percolator) capability to match price movements against customer queries and eventually push the alerts out to the customer once matches are found.[root@node1 conf.d]# nc 127.0.0.1 8888 & /tmp/jsonlines.txt *提示：观察前一个终端的输出，如果正常输出，则json_lines插件工作正常。
④.rubedebug插件:实例：[root@node1 conf.d]# cat rubydebug.conf
codec =& "json"
codec =& "rubydebug"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f rubydebug.conf输入json串查看输出效果。json串：{"name":"xkops","age":"25"}
⑤.multiline插件：(处理错误日志)multiline插件字段：charset =& #字符编码，可选max_bytes =& #bytes类型，设置最大的字节数，可选max_lines =& #number类型，设置最大的行数，默认是500行，可选multiline_tag =& #string类型，设置一个事件标签，默认是"multiline" ，可选pattern =& #string 类型，设置匹配的正则表达式&，必选&patterns_dir =& #array类型，可以设置多个正则表达式，可选negate =& #boolean类型，设置正向匹配还是反向匹配，默认是false，可选what =& #设置未匹配的内容是向前合并还是向后合并，previous,&next 两个值选择，必选
错误日志：[16-07-:01] PHP warning: unknown exception in /xxx/test/index.php:99111111222222[16-07-:43] PHP warning: unknown exception in /xxx/test/index.php:93[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat codecmultilines.conf
codec =& multiline{
pattern =& "^\["
negate =& true
what =& "previous"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f codecmultilines.conf *提示：输入上述错误日志查看输出。
---------------------filter类插件---------------------------------------------filter插件，常用的filter插件：json、grok等。①.json插件：add_field =& #hash（可选项），默认{}add_tag =& #array（可选项），默认[]remove_field =& #array（可选项），默认[]remove_tag =& #array（可选项），默认[]source =& #string（必选项）target =& #string（可选项）
实例：[root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat filterjson.conf
source =& "message"
#target =& "content"
codec =& "rubydebug"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f filterjson.conf 输入两个串，查看输出。{"name":"xkops","age":"25"}name xkops
②.grok插件：解析各种非结构化的日志数据插件。grok有丰富的patterns,查看方式：cat /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-patterns/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns实例：输入的元数据内容：20.3.1.3 GET /xkops/index.html [root@node1 conf.d]# pwd/etc/logstash/conf.d[root@node1 conf.d]# cat filtergrok.conf
match =& ["message","%{IP:ip} %{WORD:method} %{URIPATH:uri} %{NUMBER:bytes} %{NUMBER:duration}"]
codec =& "rubydebug"
[root@node1 conf.d]# /opt/logstash/bin/logstash -f filtergrok.conf*提示：输入上述元数据查看输出。*提示：grok在线工具使用：/
③.kv插件: 解析处理key-value键值对数据
--------------------output类插件-----------------------------output插件：①.file插件②.tcp/udp插件③.redis/kfaka④.elasticsearch
附录：redis配置：
host =& 'redis-server'
port =& '6379'
data_type =& 'list'
key =& 'lb'
codec =& 'json'
阅读(...) 评论()