【原】系统问题排查：Java 常见线上故障排查方案详解（理论）

流楚丶格念 2024-11-23 发布于河北

展开全文

文章目录

Java 常见线上故障排查方案详解

排查和修复生产环境问题是一项重要技能，线上问题的原因多种多样，包括代码、硬件、网络、以及外部协作工具等。线上问题通常分为两类：系统异常 和 业务异常。

以下详细总结了 Java 常见线上故障的排查方法与解决思路。

1. Java 常见线上问题总结

Java 线上问题的表现多样，通常可归纳为以下四类：

CPU 异常：
- CPU 占用率持续过高。
- 单线程或多线程死循环引发资源耗尽。
内存异常：
- 内存泄漏。
- 垃圾回收过于频繁导致 Stop-The-World（STW）时间过长。
磁盘异常：
- 磁盘 I/O 性能瓶颈。
- 磁盘使用率达到 100%，引发服务异常。
网络异常：
- 网络延迟、连接超时。
- 服务间调用耗时过长或失败。

2. 如何定位问题

定位问题是解决问题的第一步，以下是常见排查步骤和方法：

2.1 业务日志分析排查

通过分析业务日志，可以快速找到错误的具体代码位置及错误类型。例如：

public void processTasks(List<String> tasks) {
    tasks.parallelStream().forEach(task -> {
        taskList.add(task); // 并发导致 ArrayIndexOutOfBoundsException
    });
}

如果日志显示异常如下：

Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 163
    at java.util.ArrayList.add(ArrayList.java:465)
    at TaskServiceImpl.processTasks(TaskServiceImpl.java:75)

结合异常信息可知，这是 多线程并发操作 ArrayList 导致的数组越界，解决方案可以是：

使用线程安全的集合（如 CopyOnWriteArrayList）。
加锁保证线程安全。
将并发逻辑改为串行。

2.2 APM 分析排查

APM（Application Performance Management）通过链路追踪和性能指标监控帮助排查分布式架构中的问题。以下是常用工具：

Apache Skywalking：提供链路调用跟踪及耗时分析，便于发现调用链中性能瓶颈。
Pinpoint：提供服务调用关系图和请求分布分析。
Spring Cloud Sleuth + Zipkin：与 Spring 框架深度集成，可快速定位分布式调用中的异常。

通过分析 APM 工具，可以发现：

请求链路中哪个服务耗时异常。
哪些服务的错误率较高。

例如，通过 Skywalking 控制台可以查看链路图，识别服务间调用时间较长的部分，进一步缩小问题范围。

2.3 外部环境排查

生产环境问题可能来源于服务器硬件或操作系统，以下是常用排查工具：

2.3.1 CPU 分析

使用 top 或 htop 查看 CPU 使用情况。
定位高 CPU 使用率的进程。
对高占用线程进行 jstack 分析，找出热点代码。

2.3.2 内存分析

使用 free -m 查看内存使用情况。
使用 vmstat 分析内存分页（swap）情况。

2.3.3 磁盘分析

使用 df -h 查看磁盘使用率。
使用 iostat 查看磁盘 I/O。
使用 lsof 查找占用磁盘的进程。

2.3.4 网络分析

使用 dstat 查看网络带宽使用情况。
使用 netstat 或 ss 查看连接状态。
使用 ping 或 traceroute 测试网络连通性。

2.4 应用服务排查

针对 JVM 应用，可以通过以下工具分析服务本身的性能问题：

2.4.1 CPU 分析

使用 jstack 查看线程栈，定位死循环或热点代码。
排查锁竞争和阻塞问题。

2.4.2 内存分析

使用 jmap 导出堆内存，结合工具（如 MAT、VisualVM）分析内存泄漏或对象分布。
使用 jstat 查看 JVM 内存区域（如 Eden、Survivor、Old 区）的使用情况。

2.5 云厂商或运营商问题排查

若所有内部排查手段均无果，则可能是外部环境引发的问题：

关注云厂商的服务公告，查看是否有相关异常。
联系运营商排查网络问题（如 DNS 解析、路由延迟）。

3. 常用工具总结

日志分析：
- 快速定位单体服务异常。
链路追踪工具（APM）：
- Apache Skywalking、Pinpoint、Spring Cloud Sleuth 等。
系统监控工具：
- top、htop（CPU）。
- free、vmstat（内存）。
- df、iostat（磁盘）。
- dstat、netstat（网络）。
JVM 工具：
- jstack（线程栈分析）。
- jmap（内存快照）。
- jstat（GC 监控）。