nginx + lua + kafka实现日志监控

nginx + lua + kafka实现日志监控

前言

1）架构图：

2）方案：

• 1:线上请求打向nginx后，使用lua完成日志整理:如统一日志格式，过滤无效请求，分组等。
  
• 2:根据不同业务的nginx日志,划分不同的topic。
  
• 3:lua实现producter异步发送到kafka集群。
  
• 4:对不同日志感兴趣的业务组实时消费获取日志数据。
  

3）技术框架

• openresty: http://openresty.org
  
• kafka: http://kafka.apache.org
  
• lua-resty-kafka: https://github.com/doujiang24/lua-resty-kafka
  

当前目录: /home/nginx
一、安装openresty

1）下载openresty
wget https://openresty.org/download/openresty-1.11.2.5.tar.gz
2）解压openresty
tar  -zxvf  openresty-1.11.2.5.tar.gz
3）重命名
mv openresty-1.11.2.5 openresty
4）安装openresty

1. # --prefix:代表安装的路径 --with:需要加入的构建的包   --without:需要排除的包
2. ./configure --prefix=/home/nginx/openresty --with-luajit --without-http_redis2_module --with-http_iconv_module
3. make
4. make install

复制代码

如遇报错详见第六章！！！！
二、安装lua-resty-kafka

wget https://github.com/doujiang24/lua-resty-kafka/archive/master.zip
unzip lua-resty-kafka-master.zip -d /home/nginx/
三、部署kafka

参考文档
四、nginx配置

1）进入openresty

• cd /home/nginx/openresty
  
• vim nginx/conf/nginx.conf
  

1. worker_processes  1;
2. events {
3.     worker_connections  1024;
4. }
6. http {
7.     include       mime.types;
8.     default_type  application/octet-stream;
10.     sendfile        on;
11.     #tcp_nopush     on;
13.     #keepalive_timeout  0;
14.     keepalive_timeout  65;
15.     # 将所有kafka的lua脚本加载到nginx中
16.     lua_package_path "/home/nginx/lua-resty-kafka/lua-resty-kafka-master/lib/?.lua;;";
17.     #gzip  on;
19.     server {
20.         listen       8081;
21.         server_name  localhost;
23.         #charset koi8-r;
25.         #access_log  logs/host.access.log  main;
26.         location / {
27.             root   /home/nginx/nginx-1.22.0/html/web_html;
28.             index  index.html index.htm;
29.         }
30.        
32.                 location /api {
33.             proxy_pass  http://127.0.0.1:18081/api; # 转发规则
34.             proxy_set_header Host $proxy_host; # 修改转发请求头，让8080端口的应用可以受到真实的请求
35.                         proxy_set_header X-Real-IP $remote_addr;
36.                         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
37.                         proxy_connect_timeout 8;  
38.                         proxy_send_timeout 8;  
39.                                 proxy_read_timeout 8;  
40.                                 proxy_buffer_size 4k;  
41.                         proxy_buffers 512 8k;  
42.                         proxy_busy_buffers_size 8k;  
43.                         proxy_temp_file_write_size 64k;  
44.                         proxy_next_upstream http_500 http_502  http_503 http_504  error timeout invalid_header;  
45.                         root   html;  
46.                         index  index.html index.htm;  
47.                         proxy_http_version 1.1;
48.         # 使用log_by_lua 包含lua代码,因为log_by_lua指令运行在请求最后且不影响proxy_pass机制  
49.         log_by_lua '  
50.             -- 引入lua所有api  
51.             local cjson = require "cjson"  
52.             local producer = require "resty.kafka.producer"  
53.             -- 定义kafka broker地址，ip需要和kafka的host.name配置一致  
54.             local broker_list = {  
55.                 { host = "192.168.1.31", port = 9092 },  
56.             }  
57.             -- 定义json便于日志数据整理收集  
58.             local log_json = {}  
59.             log_json["uri"]=ngx.var.uri  
60.             log_json["args"]=ngx.var.args  
61.             log_json["host"]=ngx.var.host  
62.             log_json["request_body"]=ngx.var.request_body  
63.             log_json["remote_addr"] = ngx.var.remote_addr  
64.             log_json["remote_user"] = ngx.var.remote_user  
65.             log_json["time_local"] = ngx.var.time_local  
66.             log_json["status"] = ngx.var.status  
67.             log_json["body_bytes_sent"] = ngx.var.body_bytes_sent  
68.             log_json["http_referer"] = ngx.var.http_referer  
69.             log_json["http_user_agent"] = ngx.var.http_user_agent  
70.             log_json["http_x_forwarded_for"] = ngx.var.http_x_forwarded_for  
71.             log_json["upstream_response_time"] = ngx.var.upstream_response_time  
72.             log_json["request_time"] = ngx.var.request_time  
73.             -- 转换json为字符串  
74.             local message = cjson.encode(log_json);  
75.             -- 定义kafka异步生产者  
76.             local bp = producer:new(broker_list, { producer_type = "async" })  
77.             -- 发送日志消息,send第二个参数key,用于kafka路由控制:  
78.             -- key为nill(空)时，一段时间向同一partition写入数据  
79.             -- 指定key，按照key的hash写入到对应的partition  
80.             local ok, err = bp:send("test", nil, message)  
82.             if not ok then  
83.                 ngx.log(ngx.ERR, "kafka send err:", err)  
84.                 return  
85.             end  
86.         ';
87.          }
89.         error_page   500 502 503 504  /50x.html;
90.         location = /50x.html {
91.             root   html;
92.         }
93.     }
94. }

复制代码

五、检测&运行

1. # 检测配置,只检测nginx配置是否正确，lua错误日志在nginx的error.log文件中  
2. ./nginx -t /home/openresty/nginx/conf/nginx.conf  
3. # 启动  
4. ./nginx -c /home/openresty/nginx/conf/nginx.conf  
5. # 重启  
6. ./nginx -s reload  

复制代码

参考文章
六、编译失败

！！！！nginx版本不兼容的情况

发生原因： nginx版本不兼容！！！
在openresty  make时，会出现 src/os/unix/ngx_user.c:36:7: 错误：‘struct crypt_data’没有名为‘current_salt’的成员
解决方式：
1）编辑nix_user.c
vim /home/nginx/openresty/build/nginx-1.11.2/src/os/unix/ngx_user.c
2）注释 cd.current_salt[0] = ~salt[0];

3）重新编译
make && make install 即可

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！