Category Archives: ELK

四、收集NGINX访问 1.1部署nginx服务 自己搞 1.2编辑nginx页面 自己搞 1.3将nginx日志转换为json格式 [root@n8 nginx]# cat /etc/nginx/nginx.conf user nginx; worker_processes 1; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { worker_connections 1024; } http { log_format main ‘$remote_addr – $remote_user [$time_local] “$request” ‘ ‘$status $body_bytes_sent “$http_referer” ‘ ‘”$http_user_agent” “$http_x_forwarded_for”‘; … Continue reading →

1\环境 2安装kibana [root@n8 ~]# [root@n8 ~]# ll 总用量 235284 -rw——-. 1 root root 1331 7月 14 17:40 anaconda-ks.cfg -rw-r–r– 1 root root 240920951 8月 22 13:04 kibana-7.3.0-x86_64.rpm -rw-r–r– 1 root root 153 8月 15 10:23 ntp.conf [root@n8 ~]# yum install … Continue reading →

1、准备环境，IP、防火墙、SELINUX 2、安装JAVA 3,logstash配置 [root@n7 logstash]# ll total 36 drwxrwxr-x 2 root root 6 Jul 24 16:00 conf.d -rw-r–r– 1 root root 1915 Jul 24 16:00 jvm.options -rw-r–r– 1 root root 4987 Jul 24 16:00 log4j2.properties -rw-r–r– 1 root root 342 … Continue reading →

本文根据https://hacpai.com/article/1559892603869修改 前言 什么是 ELK 通俗来讲，ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为 ELK stack，官方域名为 stactic.co ELK stack 的主要优点有如下几个： （1）处理方式灵活： elasticsearch 是实时全文索引，具有强大的搜索功能 （2）配置相对简单：elasticsearch 全部使用 JSON 接口，logstash 使用模块配置，kibana 的配置文件部分更简单。 （3）检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿（4）级数据的查询秒级响应。 （5）集群线性扩展：elasticsearch 和 logstash 都可以灵活线性扩展 （6）前端操作绚丽：kibana 的前端设计比较绚丽，而且操作简单 什么是 Elasticsearch Elastic Search 是一个基于 Lucene 的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，RESTful 风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful … Continue reading →

[root@kibana ~]# curl -X “POST” “https://192.168.1.61:9200/_bulk” –data-binary @shakespeare.json curl: (35) Encountered end of file 这个原因完全是疏忽大意了，很简单，因为服务器443端口没开放。 其实就是因为我把http打成了https。改成http发送就对了

1 案例1：导入数据 1.1 问题 本案例要求批量导入数据： 批量导入数据并查看 1.2 步骤 实现此案例需要按照如下步骤进行。 步骤一：导入数据 使用POST方式批量导入数据，数据格式为json，url 编码使用data-binary导入含有index配置的json文件 [root@room9pc01 ~]# scp /var/ftp/elk/*.gz 192.168.1.66:/root/ [root@kibana ~]# gzip -d logs.jsonl.gz [root@kibana ~]# gzip -d accounts.json.gz [root@kibana ~]# gzip -d shakespeare.json.gz [root@kibana ~]# curl -X POST “http://192.168.1.61:9200/_bulk” \ –data-binary … Continue reading →

创建虚拟机，修改主机名，配置IP，搭建YUM源，详细的就不解释了，直接粘贴代码 创建虚拟机 [root@room9pc52 qemu]# sed ‘s/node/node61/’ node.xml > node61.xml [root@room9pc52 qemu]# sed ‘s/node/node62/’ node.xml > node62.xml [root@room9pc52 qemu]# sed ‘s/node/node63/’ node.xml > node63.xml [root@room9pc52 qemu]# sed ‘s/node/node64/’ node.xml > node64.xml [root@room9pc52 qemu]# sed ‘s/node/node65/’ node.xml > node65.xml [root@room9pc52 qemu]# sed … Continue reading →