Tomcat无响应案例分析

问题描述

生产环境下有几台tomcat,但突然某个时候发现所有的请求都不能响应了,由于我们的web server使用的是nginx,会将请求反向到tomcat上,所以起初怀疑是nginx就没有收到请求,但查看日志后发现,nginx中大量出现499的返回,这说明问题还是出在tomcat上.

问题排查

  1. 首先我想到的是不是CPU跑满了,虽说CPU没有报警但还是本能的top命令看下系统负载,发现系统只有0.x的负载,cpu,内存消耗都是正常的.
  2. 由于CPU没有出现异常,所以应该不是GC出现了问题,但还是检查了下GC log,果然GC也没问题
  3. 此时必须让jstack上场了,果然在使用jstack后发现很多线程都是WAITING状态
  4. 此时意识到问题应该出现http连接上,马上用netstat查看下801端口的连接状态,果然发现很多请求都是CLOSE_WAIT,这里简单解释下CLOSE_WAIT状态,如果我们的client程序处于CLOSE_WAIT状态的话,说明套接字是被动关闭的,整个流程应该是这样
  5. 我们的请求处于CLOSE_WAIT状态,而不是LAST_ACK状态,说明还没有发FIN给server,那么很简单,去看HttpClientUtil中如何处理就知道了,果然在查看HttpClientUtil代码中发现对于非正常关闭的http连接没有做abort,补充完善好try catch finally块后问题得到解决.

发表评论(沙发空缺中,还不快抢~)

设置头像

*

:wink: :twisted: :smile: :sleep: :shock: :sad: :roll: :razz: :oops: :neutral: :mad: :grin: :evil: :eek: :cry: :cool: