|
一、写在前面 结合之前写的一篇文章：Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用HTTP 基本认证加密用户登录。（关于elk权限控制，我所了解的还有一种方式－Shield），等以后有时间了去搞下。下面开始正文吧。。。 注意：环境默认和上一篇大致一样，默认安装好了E、L、K、3个软件即可。当然了，还有必需的Java环境JDK 开始之前，请允许我插入一张图，来自线上我的测试图：（如果有需要的童鞋，可以私信我，我可以把登录账号给你。。） 备注：由于阿里云主机已经删除，无法提供试看了哈。
nginx日志文件其中一行： 218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www./" nginx 服务器日志的log_format格式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
二、配置logstash 1.修改配置文件，/etc/logstash/conf.d下。创建一个新的配置文件，内容如下:  View
Code文件内容大致解释：
Logstash 分为 Input、Output、Filter、Codec 等多种plugins。 来源：飞走不可－原文http://www.cnblogs.com/hanyifeng/p/5857875.html
input段：
filter段：
output段：
2.创建logstash配置文件之后，我们还要去建立grok使用的表达式，因为logstash 的配置文件里定义的使用转换格式语法，先去logstash的安装目录，默认安装位置：/opt/logstash/下，在该位置创建一个目录patterns: root@log-monitor ~]# mkdir -pv /opt/logstash/patterns mkdir: created directory ‘/opt/logstash/patterns’ 在该目录下创建格式文件，内容如下： [root@log-monitor ~]# cat /opt/logstash/patterns/nginx NGUSERNAME [a-zA-Z\.\@\-\+_%]+ NGUSER %{NGUSERNAME} NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"%{IPV4:http_x_forwarded_for}\" 注:该格式的最后有一个http_x_forwarded_for，因为我们日志是启用了cdn代理的。日志的第一段都是cdn的，最后一段才是真正客户的ip。
[root@log-monitor ~]# mkdir -pv /data/nginx-logs/ [root@log-monitor ~]# ll /data/nginx-logs/ total 123476 -rw-r--r-- 1 nginx adm 126430102 Sep 9 16:02 access.log
3.然后就是logstash中配置的GeoIP的数据库解析ip了，这里是用了开源的ip数据源，用来分析客户端的ip归属地。官网在这里:MAXMIND 先把库下载到本地： [root@log-monitor ~]# wget http://geolite./download/geoip/database/GeoLiteCity.dat.gz 解压到当前路径，并将它移动到上述我们配置的路径下，当然其它路径也是可以的，不过logstash 的配置文件也需要更改，如下： [root@log-monitor ~]# gzip -d GeoLiteCity.dat.gz [root@log-monitor ~]# mv GeoLiteCity.dat /etc/logstash/. 测试下logstash 的配置文件吧，使用它自带的命令去测试，如下： [root@log-monitor ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf
Configuration OK
注：-t -f 参数顺序不能乱，格式就是定死的，-f 后面要跟配置文件；还有就是该测试只能测试语法，标点符号。如果逻辑上有错误的话，还是能启动的。这里就需要在正式启动运行时，多关注日志文件，位置：/var/log/logstash/logstash.log 三、配置Elasticsearch 1.先修改es的配置文件如下（存放路径：/etc/elasticsearch/elasticsearch.yml）: [root@log-monitor ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml node.name: es-1 path.data: /data/elasticsearch/ network.host: 127.0.0.1 http.port: 9200 其它内容都保持默认。主要修改了es的数据存放路径，它默认的路径在根目录下，由于容量太小，而/data容量大。 根据你的实际情况考虑而定。 创建数据存放目录： [root@log-monitor ~]# mkdir -pv /data/elasticsearch
修改该文件的权限所属者： [root@log-monitor ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/
之后重启es，重启logstash。 [root@log-monitor ~]# systemctl restart elasticsearch 检查启动状态： [root@log-monitor ~]# netstat -ulntp | grep java tcp6 0 0 127.0.0.1:9200 :::* LISTEN 25988/java tcp6 0 0 127.0.0.1:9300 :::* LISTEN 25988/java  [root@log-monitor ~]# systemctl status logstash ● logstash.service - LSB: Starts Logstash as a daemon. Loaded: loaded (/etc/rc.d/init.d/logstash) Active: active (running) since Fri 2016-09-09 16:14:17 CST; 38s ago Docs: man:systemd-sysv-generator(8) Process: 27195 ExecStart=/etc/rc.d/init.d/logstash start (code=exited, status=0/SUCCESS) CGroup: /system.slice/logstash.service └─27201 /bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX... Sep 09 16:14:17 log-monitor systemd[1]: Starting LSB: Starts Logstash as a daemon.... Sep 09 16:14:17 log-monitor logstash[27195]: logstash started. Sep 09 16:14:17 log-monitor systemd[1]: Started LSB: Starts Logstash as a daemon.. logstash 的日志查看： [root@log-monitor ~]# tail -f /var/log/logstash/logstash.log {:timestamp=>"2016-09-09T16:14:26.732000+0800", :message=>"Pipeline main started"} 从上面可以看到启动是正常的，我们在去看下es里的索引，应该已经在倒入数据了。 [root@log-monitor ~]# curl 'localhost:9200/_cat/indices?v' health status index pri rep docs.count docs.deleted store.size pri.store.size yellow open .kibana 1 1 1 0 3.1kb 3.1kb yellow open logstash-nginx-access-2016.09.08 5 1 69893 0 24.2mb 24.2mb yellow open logstash-nginx-access-2016.09.09 5 1 339 0 273.8kb 273.8kb 从上面看到数据已经在慢慢的导入了。大概需要一段时间，因为涉及到日志的过滤写入等。不过也很快啦。我们暂时不去配置kibana。先去安装nginx做个代理。
四、安装nginx 配置kibana代理 1.下载稳定版的nginx，这里使用yum安装。或者也可以选择编译，个人觉得rpm包已经足够可以使用。 [root@log-monitor ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm 2.安装，并修改默认的配置文件 [root@log-monitor ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y 先将默认的default.conf 移动到其它目录中，或者直接删除也可以。我是直接删除了。然后新建一个elk.conf配置文件，内容如下： [root@log-monitor ~]# cat /etc/nginx/conf.d/elk.conf upstream elk { ip_hash; server 172.17.0.1:5601 max_fails=3 fail_timeout=30s; server 172.17.0.1:5601 max_fails=3 fail_timeout=30s; } server { listen 80; server_name localhost; server_tokens off; #close slow conn client_body_timeout 5s; client_header_timeout 5s; location / { proxy_pass http://elk/; index index.html index.htm; #auth auth_basic "ELK Private,Don't try GJ!"; auth_basic_user_file /etc/nginx/.htpasswd; } } 文件内容大致解释： 此处省略500字 3.新建一个http基本认证用户，使用的是httpd的一个工具组件，叫httpd-tools，用于生成加密的用户数据库 [root@log-monitor ~]# yum install httpd-tools –y 新建用户： [root@log-monitor ~]# htpasswd -cm /etc/nginx/.htpasswd elk New password: Re-type new password: Adding password for user elk 重启nginx，并检查状态 [root@log-monitor ~]# systemctl start nginx [root@log-monitor ~]# systemctl status nginx ● nginx.service - nginx - high performance web server Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled) Active: active (running) since Fri 2016-09-09 12:02:41 CST; 47s ago Docs: http://nginx.org/en/docs/ Process: 26422 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS) Process: 26420 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS) Main PID: 26424 (nginx) CGroup: /system.slice/nginx.service ├─26424 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf └─26425 nginx: worker process Sep 09 12:02:41 log-monitor systemd[1]: Starting nginx - high performance web server... Sep 09 12:02:41 log-monitor nginx[26420]: nginx: the configuration file /etc/nginx/nginx.conf syntax is ok Sep 09 12:02:41 log-monitor nginx[26420]: nginx: configuration file /etc/nginx/nginx.conf test is successful Sep 09 12:02:41 log-monitor systemd[1]: Started nginx - high performance web server. Sep 09 12:03:13 log-monitor systemd[1]: Started nginx - high performance web server. Sep 09 12:03:26 log-monitor systemd[1]: Started nginx - high performance web server. 检查监听端口： [root@log-monitor ~]# netstat -ultpn | grep :8888 tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 26424/nginx: master 修改iptables防火墙，插入以下规则，允许外面访问8888端口。由于我们最终是使用8888端口对外提供服务的，所以kibana的5601，以及es的9200、9300端口都不需要对外 [root@log-monitor ~]# iptables -I INPUT -p tcp -m state --state NEW --dport 8888 -j ACCEPT
4.访问一下网站，验证下： 来源：飞走不可－原文http://www.cnblogs.com/hanyifeng/p/5857875.html
输入我们建立的elk用户，登陆后，可以正常的访问kibana界面即可，如下图：
添加一个索引，这个索引名字就是我们之前在logstash配置文件中导入es中的那个，本文中是logstash-nginx-access-*,如下图：
查看索引，目前自由一个，设置为加星，即是discover默认突出显示的。
然后我们点击Discover，即可看到我们倒入的数据了。如下图： 来源：飞走不可－原文http://www.cnblogs.com/hanyifeng/p/5857875.html
最后这是我的dashboard，主要统计了web站点的客户端ip地址归属地、总的http传输次数、top10 来源ip、top10 请求点击页面、错误请求趋势、等等，如下，上几张图：
五、小结 ELK优势：
搭建的过程中真的蛮辛苦的（毕竟都是英文），出了问题只能google，从不了解到熟悉，也算是种经历啦。不发牢骚了。。 画图容易，就如虎大牛所说：“先学会了如何查，画图自然而然就简单多了。当然还要知道其中每个字段的含义”。我的下篇文章将会主要说下如何画图（包括上面这些图中样式哈）。有没有点小福利的感觉？ 好啦，睡觉去啦，大家周末玩的happy呀！另外提前祝天下所有美丽可爱善良的教师们（马克罗事件—论老师的重要性），节日快乐。Y(^_^)Y |
|
|
来自： 株野 > 《ElasticSearch》
