服务器出故障时，最贵的不是修不好，是瞎试。这篇给你一套可复用的排查方法论 + 六大类常见症状的诊断命令链。收藏这一篇，遇到问题按图索骥。所有细节专题文站内均有深度篇，文中随踩随链。

一、排查方法论：四条铁律

铁律 1：先恢复，后定位

生产环境故障，先止损再查因：网站挂了先回滚到上一个可用版本，服务卡死先重启拉到正常水位。日志和现场（内存快照、core dump）在重启前先抓一份。用户在乎的是服务在不在，不在乎你为什么挂的。

铁律 2：自上而下分层定位

任何故障按这个顺序过一遍，90% 的问题在前三层现形：

应用层（服务报错、代码 bug）
   ↓
系统层（进程、内存、CPU、磁盘）
   ↓
网络层（端口、防火墙、DNS、路由）
   ↓
硬件/虚拟化层（云平台故障、超售、宿主机问题）

典型错误是一上来就翻应用日志，结果查了两小时发现是磁盘满了。

铁律 3：一次只改一个变量

"重启试试""改改配置再观察"——同时改三个地方，好了不知道哪个起效，坏了不知道哪个闯祸。每次只做一个变更，观察效果，再走下一步。

铁律 4：二分法缩小范围

系统性的慢或错（比如上周还好的今天全报错），用变更点二分：上周到现在做了哪些操作（更新、配置变更、新部署）？逐个回滚验证，比通读日志快十倍。

二、症状一：连不上服务器（SSH 不通）

最高频也最吓人。按可能性排序：

# 1. 本地先 ping，通不通说明网络到没到
ping 服务器IP

# 2. ping 通但 SSH 不通，测端口
telnet 服务器IP 22        # 或 nc -vz 服务器IP 22

# 3. 端口通但连不上，本地 SSH 详细模式看卡在哪
ssh -vvv root@服务器IP

控制台 VNC 是你的救命通道——SSH 挂了但机器活着，从云厂商网页控制台进去，直接修。所以：别把 SSH 端口改完就忘了防火墙规则，改之前先测试新端口能连再关旧的，安全加固的正确姿势见SSH 安全加固。

常见根因：防火墙规则改错（见Linux 防火墙配置）、内存耗尽触发 OOM 把 sshd 杀了、云平台安全组没放行、磁盘满了导致无法登录。

三、症状二：网站打不开

# 1. 域名解析对不对
dig yourdomain.com +short        # 返回的 IP 对吗

# 2. 本地 curl 通不通（绕过浏览器缓存）
curl -Iv http://127.0.0.1        # 本机直连，看 Web 服务活着没

# 3. 端口监听状态
ss -tlnp | grep -E ':(80|443)'

# 4. Web 服务进程
systemctl status nginx php-fpm   # 按实际服务

按图往下走：服务挂了看日志（journalctl -u nginx -n 100）；防火墙/DNS 问题见防火墙配置和DNS 记录指南；网站整体变慢的专项见网站变慢排查；被挂马/篡改的应急见网站木马清理。

四、症状三：服务器卡顿、变慢

"感觉变慢了"是最难的排查，因为没有明确报错。按三板斧顺序来：

# 第一板斧：top 看谁在吃 CPU
top        # 按 P 排序，看 %CPU；按 M 排序，看 %MEM

# 第二板斧：内存到底够不够
free -h
vmstat 1 5 # 看 si/so（swap 换入换出）——非 0 就是内存告急

# 第三板斧：磁盘 IO 是不是瓶颈
iostat -xz 1    # %util 接近 100% = 磁盘打满
iotop           # 看哪个进程在写盘

性能分析工具全景见Linux 性能分析三板斧，系统化的资源类故障见服务器资源故障排查。

五、症状四：磁盘满了

df -h                    # 哪个分区满了
du -sh /var/log/* 2>/dev/null | sort -rh | head    # 谁在吃空间
lsof +L1                # 找"已删除但还被进程占用"的大文件（重启才能释放）

经典陷阱：df 显示满了但 du 找不到大文件——多半是日志文件被 rm 了但服务还开着文件句柄，空间不释放。lsof +L1 抓出现犯，重启服务解决。专项排查见磁盘写满故障排查。

另一个隐形杀手是 inode 耗尽（小文件太多）：df -i 也满了，但 df -h 还有空间——会话文件、缓存碎片是元凶，见fd/inode 耗尽排查。

根治手段：logrotate 管日志（见Linux 日志管理），定期巡检，监控告警。

六、症状五：内存耗尽与 OOM

free -h                          # 总量/已用/可用
dmesg | grep -i "oom\|killed"    # OOM Killer 的处决记录
ps aux --sort=-%mem | head       # 谁吃得最多

OOM Killer 杀进程的规律是"谁大杀谁"——你的数据库、AI 模型进程通常是最大的，所以死得最惨。排查内存见内存泄漏排查实战。

游戏服/AI 场景特供：游戏服内存随在线人数涨，AI 模型全量加载——这两类是内存耗尽重灾区，配置和 swap 预案提前做，见Swap 分区与内存优化和AI 应用选型。

七、症状六：网络问题（能连但难用）

# 本机到网关通不通
ping 网关IP

# DNS 解析慢/失败
dig yourdomain.com            # 看 Query time
cat /etc/resolv.conf          # DNS 服务器设对没

# 到目标的服务通不通、慢在哪
mtr yourdomain.com            # 逐跳看延迟和丢包

# 端口通不通
nc -vz 目标IP 端口

# 本机谁在连外网、连到哪
ss -tnp | head

抓包分析见Tcpdump 实战，Web 日志分析见Web 日志分析。

八、日志：排查的终极武器

前面所有分支，最后都落到日志。日志在哪、怎么看：

# 实时跟踪
journalctl -f

# 看今天所有的错误级日志
journalctl --since today -p err

# Nginx 错误 TOP 统计
awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -rn

日志集中管理（多机场景）见Linux 日志管理与 logrotate和日志集中管理。

九、应急预案：把手册变成肌肉记忆

排查方法论背得再熟，不如提前准备好：

1. 监控告警先行：CPU/内存/磁盘/带宽超阈值就告警，故障早发现一小时，排查难度低十倍。方案见Prometheus 监控入门或轻量Netdata
2. 备份可回滚：重要变更前快照，坏了秒回滚，见服务器备份策略
3. 文档化环境：装过什么、改过什么配置，记在案——三个月后你绝对记不住
4. 留好控制台通道：云厂商 VNC/救援模式入口存书签，SSH 全挂时的唯一退路

被入侵类故障（排查逻辑不同，先取证后修复）走另一套流程，见服务器被入侵处理指南和安全应急响应完全手册。

结语

服务器故障排查的核心心法：先恢复服务，再自上而下分层定位，一次只改一个变量。六大症状（连不上/打不开/卡/满/OOM/网络）各有一条命令链，按图走一遍，比瞎试快十倍。把这篇收藏进书签，下次出事直接对着命令敲。

跑关键业务的服务器，稳定压倒一切——可以看看财富云计算：NAT 型云服务器 SSD 系统盘 + 快照、支持热升级不换机，价格比独立 IP 机型省一半以上，配一套监控 + 备份，个人和小团队运维也从容。

延伸阅读

1. Homepage 个人仪表盘：把散落各处的服务收进一个首页
2. SSL 证书完全指南：免费证书、自动续期与不过期监控
3. 数据备份体系完全手册：从随手拷到 3-2-1，让数据永远丢不了
4. 压测与容量规划：上线前就知道你的服务器能扛多少人
5. AdGuard Home 内网 DNS：全家去广告、防劫持、内网解析一站解决
6. Hugo 静态博客搭建：秒开的博客，部署只要一个目录
7. 安全应急响应完全手册：服务器被入侵后，按这个流程走
8. 游戏服运营完全手册：从开服到停服，把一台服务器运营成百年老店

更多阅读

1. 上一篇：云服务器成本优化完全手册：从选型到续费，把钱花在刀刃上
2. 下一篇：高可用架构入门：小团队不需要 K8s，也能把可用性做到 99.9%