logstash在Elasticsearch中创建的默认索引模板问题

如题所述

第1个回答  2022-06-29
在ELK架构中,使用logstash收集服务器中的日志并写入到Elasticsearch中,有时候需要对日志中的字段mapping进行特殊的设置,此时可以通过自定义模板template解决,但是因为logstash默认会向Elasticsearch提交一个名为logstash的模板,所以在定义logstash配置文件时有一些关键点需要注意。本文基于logstash-5.6.4和elastcisearch-5.6.4对需要注意的关键点进行列举。

默认的logstash模板:

使用logstash收集日志时, 如果对日志中的字段mapping没有特殊的要求,使用以下的logstash 配置文件1.conf就可以满足需求:

1.conf:

上述配置实现收集nginx的访问日志并写入到Elasticsearch集群中去,这种情况下logstash会向Elasticsearch创建一个名为logstash-*的按天创建的index以及名为logstash的template,之后每天创建一个logstash-%{+YYYY.MM.dd}的index用于存储日志。

这种情况下,logstash-%{+YYYY.MM.dd}索引就会有两个type, 一个是 defalut , 一个是logs.

如果不想使用logstash默认创建的模板创建索引,有两种解决方式,一是可以在logstash配置文件中的output中指定index索引名称, 如2.conf所示:

2.conf:

使用2.conf, logstash会向Elasticsearch提交创建一个名为"nginx_access-%{+YYYY.MM.dd}"的索引,并且只有一个名为“logs”的type.

第二种解决方式是在output中指定manage_template=>false,如3.conf所示:

3.conf

使用3.conf配置,logstash会向Elasticsearch提交创建一个名为"logstash-%{+YYYY.MM.dd}"的索引,并且只有一个名为“logs”的type. 注意此时logstash将不会提交创建名为logstash的模板。

默认情况下,logstash向Elasticsearch提交创建的索引的type为"logs",如果需要自定义type, 有两种方式,一种是在output里指定document_type参数,另一种是在input里指定type参数, output里的document_type优先级大于input里的type.

使用自定义模板有两种方式,一种是启动logstash之前先调用Elasticsearch的API创建模板,并指定模板匹配的索引名称pattern以及模板优先级,具体可参考官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/6.3/indices-templates.html ;另一种方式是在logstash端的output中增加"template"和"template_name"参数,如4.conf所示。

4.conf

上述配置需要先在/path/to路径下存放一个json格式的模板配置文件,template_name如果不指定的话,会使用默认值logstash. 注意此种情况不能在output设置manage_template参数为false, 否则logstash将不会调用Elasticsearch API创建模板。