Notes
Search
⌃K

Diagnostic Tools

基础

查看cpu：
cat /proc/cpuinfo
lscpu
cpuid
查看系统负载：
uptime
​
// output: 当前时间，系统运行时间，1、3、15 分钟的平均负载
17:44:09 up 1:58, 3 users, load average: 0.00, 0.00, 0.00
观察某个命令输出的变化：
watch -d uptime
// -d, --differences 高亮变化的部分

/proc

/proc 是 linux 提供的一种特殊的文件系统，是用户与内核交互的接口。可以从 /proc 中查询运行状态和配置选项，也可以修改 /proc 来修改内核的配置。
/proc/softirqs # 软中断
/proc/interrupts # 硬中断
​
/proc/stat # CPU 和任务统计信息
/proc/[pid]/stat # 进程的 CPU 和任务统计信息
​
/proc/meminfo # 内存信息
​
/proc/slabinfo # 查看 slab 信息
​
/proc/zoneinfo # NUMA 架构中每个 node 的信息
​
/proc/diskstats # 查看磁盘统计信息
# 配置 pages_min 值，控制 kswapd0 的行为
/proc/sys/vm/min_free_kbytes
​
# 配置 oom_score
/proc/[pid]/oom_adj
​
# 清理文件页、目录项、Inodes 等各种缓存
echo 3 > /proc/sys/vm/drop_caches
​
# NUMA 架构下，节点回收内存的方式，具体查看内存一节。
/proc/sys/vm/zone_reclaim_mode
​
# 配置系统使用 swap 的积极程度，具体查看内存一节。
/proc/sys/vm/swappiness

ps

线程名字有中括号，表示无法获取它们的命令行参数，一般都是内核线程。
ps -ef
# -T 展示线程
​
# 查看所有内核线程
ps -f --ppid 2 -p 2
ps -ef | grep "\[.*\]"

top

常用查看系统负载、进程状态的工具。
S（Status） 列表示进程状态：
  • R：Running or Runnable，正在运行或正在等待运行。
  • D：Disk Sleep，不可中断睡眠（Uninterruptible Sleep），一般表示正在和硬件交互，且交互过程不允许被其它进程中断或打断。
  • Z：Zombie，僵尸进程，进程实际上已经结束，但是父进程还没有回收它的资源。
  • S：Interruptible Sleep，可中断睡眠，进程等待某个事件而被系统挂起，唤醒后会进入 R 状态。
  • I：Idle，空闲状态，不可中断的内核线程。D 会导致平均负载升高，但是 I 不会。
内存相关的列：
  • VIRT：进程的虚拟内存大小。只要申请过，就算没有分配物理内存，也会计算在内。
  • RES：常驻内存大小，实际使用的物理内存，不包括 swap 和共享内存。
  • SHR：共享内存，不一定全部共享，程序代码段、非共享的动态链接库也计算在 SHR 内；不过真正共享的内存，共享的动态链接库自然也计算在内。
  • %MEM：进程使用的物理内存占系统内存的百分比。

sysstat

系统压力测试工具：apt install sysstat

mpstat

CPU 性能分析工具
  • -P ALL，输出所有 CPU 的统计

pidstat

进程性能分析工具
  • -u，输出 CPU 使用率
  • -d，输出 I/O 统计
  • -w，输出任务切换
    • cswch：每秒自愿上下文切换数。进程无法获取资源（IO、内存）导致上下文切换。
    • nvcswch：每秒非自愿上下文切换数。进程的时间片已到，系统强制调度。
  • -p，指定某个进程

sar

系统活动报告工具，可以实时查看系统当前的活动，也可以配置保存和报告历史统计数据。
# -n 查看网络统计信息。DEV（网络接口）、EDEV（网络接口错误）、TCP、UDP、ICMP
sar -n DEV 1
​
# -r 显示内存使用情况，-S 显示 Swap 使用情况
sar -r -S 1
# kbcommit, %commit: 对内存需求的预估
# kbactive: 活跃内存
# kbinact: 非活跃内存
  • rxpck/s, txpck/s：PPS，包/秒。
  • rxKB/s, txKB/s：吞吐量。
  • rxcmp/s, tcxmp/s：压缩包数据包数。
  • %ifutil：网络接口使用率。半双工模式下为 (rxkB/s+txkB/s)/Bandwidth，而全双工模式下为 max(rxkB/s, txkB/s)/Bandwidth。Bandwidth 可用ethtool 查看。

iostat

数据来自 /proc/diskstats。
iostat -d -x 1
# -d 展示设备使用率
# -x 展示扩展统计信息
  • r/s + w/s 就是 IOPS
  • rKB/s + wKB/s 就是吞吐量
  • r_await + w_await 就是响应时间
饱和度一般无法直接获取，可通过与基础测试结果（fio）比较来评估饱和度。

dstat

新的性能工具，吸收了 vmstat、iostat、ifstat 等工具的优点。
yum install dstat
​
dstat 1 10

vmstat

系统性能分析工具，主要用于分析系统内存使用情况、CPU 上下文切换、中断次数等。
vmstat [options] [delay [count]]
​
// 每隔 5 秒输出一次
➜ ~ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 1719840 17412 151560 0 0 1 0 24 31 0 0 100 0 0
0 0 0 1719808 17420 151560 0 0 0 6 59 66 0 0 100 0 0
  • cs(context switch)：每秒上下文切换次数。
  • in(interrupt)：每秒中断次数。
  • r(runnable)：正在运行和等待 CPU 的进程数。
  • b(uninterruptible)：不可中断睡眠状态的进程数。

strace

跟踪进程的系统调用。
yum install -y strace
​
strace -p ${pid} -f
# -f 跟踪多线程。
# -T 系统调用时长
# -tt 跟踪时间
# -e expr 跟踪特定的系统调用

perf

// 按方向键可定位对象，按回车可展开
$ perf top [-g]
Samples: 833 of event 'cpu-clock', Event count (approx.): 97742399
Overhead Shared Object Symbol
7.28% perf [.] 0x00000000001f78a4
4.72% [kernel] [k] vsnprintf
4.32% [kernel] [k] module_get_kallsym
3.65% [kernel] [k] _raw_spin_unlock_irqrestore
  • Overhead: 比例
  • Shard：动态共享对象
  • Object：[.] 表示用户空间可以执行程序，[k] 表示内核空间。
  • Symbol：函数名
还有perf record [-g]， perf report [-g] 等。
可以追踪内核线程。可以通过其它工具把输出结果以火焰图的方式展示。

pstree

用树型显示所有进程之间的关系。
yum install psmisc
​
pstress -aps ${pid}

pgrep

根据进程名查找进程号。

execsnoop

专为短时进程设计的工具。它通过 ftrace 实时监控进程的 exec() 行为，并输出短时进程的基本信息。
cd /usr/bin
wget https://raw.githubusercontent.com/brendangregg/perf-tools/master/execsnoop
chmod 755 execsnoop

numactl

查看、控制 NUMA 中的 node 信息。
numactl --hardware

bcc

基于 Linux 内核的 eBPF 机制。

CentOS Install

CentOS 7

升级内核

# 升级系统
yum update -y
​
# 安装ELRepo
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh https://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
​
# 安装新内核
yum remove -y kernel-headers kernel-tools kernel-tools-libs
yum --enablerepo="elrepo-kernel" install -y kernel-ml kernel-ml-devel kernel-ml-headers kernel-ml-tools kernel-ml-tools-libs kernel-ml-tools-libs-devel
​
# 更新Grub后重启
grub2-mkconfig -o /boot/grub2/grub.cfg
grub2-set-default 0
reboot
​
# 重启后确认内核版本已升级为4.20.0-1.el7.elrepo.x86_64
uname -r

安装 bcc-tools

# 安装bcc-tools
yum install -y bcc-tools
​
# 配置PATH路径
export PATH=$PATH:/usr/share/bcc/tools
​
# 验证安装成功
cachestat

cachestat

提供整个操作系统缓存的读写命中情况。
$ cachestat 1 3
TOTAL MISSES HITS DIRTIES BUFFERS_MB CACHED_MB
2 0 2 1 17 279
2 0 2 1 17 279
2 0 2 1 17 279
  • TOTAL: 总 IO 次数。一次代表一页，为 4KB。
  • MISSES: 未命中缓存次数
  • HITS: 命中缓存次数
  • DIRTIES: 新增到缓存中的脏页数
  • BUFFERS_MB: Buffer的大小
  • CACHED_MB: Cache 的大小

cachetop

提供每个进程的缓存命中情况。
$ cachetop
11:58:50 Buffers MB: 258 / Cached MB: 347 / Sort: HITS / Order: ascending
PID UID CMD HITS MISSES DIRTIES READ_HIT% WRITE_HIT%
13029 root python 1 0 0 100.0% 0.0%
不会吧 Direct IO 算进来。

memleak

可以跟踪系统或指定进程的内存分配、释放请求，然后定期输出一个未释放内存和相应调用栈的汇总情况。

filetop

跟踪内核中文件的读写情况。

opensnoop

动态跟踪内核中 open 系统调用。

内存相关

free

➜ ~ free
total used free shared buff/cache available
Mem: 810492 323488 125568 1848 361436 360564
Swap: 2097148 5408 2091740
  • total:
  • used: 包含了共享内存
  • free:
  • shared:
  • buff/cache: 并不是所有的缓存都可以回收。
  • available: 新进程可用的内存大小。不仅包含未使用内存，还包括了可回收的缓存。

slabtop

查看 slab 信息。

pcstat

Go 开发的。查看文件在内存中的缓存大小及缓存比例。
$ pcstat /bin/ls
+---------+----------------+------------+-----------+---------+
| Name | Size (bytes) | Pages | Cached | Percent |
|---------+----------------+------------+-----------+---------|
| /bin/ls | 133792 | 33 | 0 | 000.000 |
+---------+----------------+------------+-----------+---------+

磁盘相关

dd

转换和复制磁盘和文件的工具。
# 从随机设备读取，写入文件
dd if=/dev/urandom of=/tmp/file bs=1M count=500
​
# 从随机设备数据，直接写入磁盘
dd if=/dev/urandom of=/dev/sdb1 bs=1M count=2048
​
# 从文件读取，写入空设备
dd if=/tmp/file of=/dev/null
​
# 从磁盘读取，写入空设备
dd if=/dev/sda1 of=/dev/null bs=1M count=1024
如果把 dd 当做测试文件系统性能的工具，由于缓存的存在，会导致测试结果严重失真。

df

查看文件系统的磁盘使用情况。
df -h
​
# 查看索引节点（inode）
df -i

iotop

yum install -y iotop

lsof

查看进程打开的文件列表，文件包括普通文件、目录、块设备、动态库、网络套接字等。
yum install -y lsof
​
lsof -p ${pid}

网络相关

net-tools

yum install -y net-tools

ifconfig

ifconfig [$interface]
  • RUNNING：同 ip 的 LOWER_UP。

iproute

yum install -y iproute
net-tools 的下一代，建议使用这个。

ip

ip -s addr show dev $interface
# -s, -stats：显示一些统计信息
  • LOWER_UP：物理网络连通，网卡已经连到交换机或路由器。
  • MTU：默认 1500。
  • errors：校验错误、帧同步错误等。
  • dropped：丢弃的数据包数。如内存不足。
  • overruns：超限的数据包数。如网络 IO 过快，Ring Buffer 来不及处理。
  • carrier：发生 carrier 错误的数据包数。如双工模式不匹配、物理电缆出问题等。
  • collisions：碰撞数据包数。

netstat

查看套接字、网络栈、网络接口以及路由表的信息。
netstat -nlp
# -n 显示数字地址和端口，而不是名字
# -p 显示进程信息
# -l 只显示监听的套接字
​
netstat -s
# -s, 协议的收发汇总情况及错误
​
netstat -i
# -i, 查看网卡，比如丢包等信息

ss

与 netstat 类似，但是性能更好。
ss -nplt
# -n 显示数字地址和端口，而不是名字
# -p 显示进程
# -l 只显示监听的套接字
# -t 只显示 tcp 套接字
​
ss -s
# -s 统计信息
接收队列（Recv-Q）和发送队列（Send-Q）通常应该是 0。若不是 0 时，说明有网络包的堆积发生。
若 Socket 处于 Established 状态时：
  • Recv-Q：Socket 缓冲区还未被应用程序取走的字节数（接收队列长度）。
  • Send-Q：还未被远端主机确认的字节数（发送队列长度）。
若 Socket 处于 Listen 状态：
  • Recv-Q：全连接队列的长度。
  • Send-Q：全连接队列的最大长度。
全连接指完成了三次 TCP 握手。需要被 accept() 系统调用取走。半连接指还未完成 TCP 三次握手，服务器收到客户端 SYN 后，会把连接放到半连接队列中，再向客户端发送 SYN+ACK。

ethtool

ethtool $interface

ping

测试主机连通性和延时。
ping -c3 $ip

tcpdump

常用的网络抓包工具。基于 libpcap。
yum install -y tcpdump
tcpdump [option] [filter-expression]
​
# -i 网卡
tcpdump -i ens33 -n tcp port 80
​
tcpdump -i any -nn udp port 53 or host 35.190.27.188
# -i any 所有网卡
# -nn 不解析抓包中的域名、协议、端口号
# udp port 53 仅显示 udp 协议的 53 端口
# host 35.190.27.188 只显示特定 IP（包括源地址和目的地址）
基本输出格式：时间戳 协议 源地址.源端口 > 目的地址.目的端口 网络包详细信息。可以通过选项增加其它字段。

Wireshark

抓包和分析工具，提供图形界面和汇总分析工具。
yum install -y wireshark
tcpdump 通过 -w 选项保持抓包文件，可通过 wireshark 图形界面打开，以更加友好的方式展示。
比如 Statistics -> Flow Graph 可以查看整个 TCP 的流程。推荐书籍 《Wireshark网络分析就这么简单》、《Wireshark网络分析的艺术》

hping3

可以构造 TCP/IP 协议数据包的工具。
yum install -y epel-release
yum install -y hping3
​
brew install hping
# -S tcp 协议的 SYN
# -p 目标端口哦
# -i u100 发送间隔为 100 微秒
hping3 -S -p 80 -i u100 10.93.245.152

traceroute

yum install -y "traceroute"
​
traceroute --tcp -p 80 -n baidu.com
# -n 不对结果中的 IP 进行反向域名解析

bind-utils

yum install -y bind-utils

nslookup

nslookup $domain
# -debug 开启调试模式
​
# 通过 ip 查找域名
nslookup -type=PTR 35.190.27.188 8.8.8.8

dig

dig +trace +nodnssec baidu.com
# +trace 开启跟踪查询
# +nodnssec 禁止 DNS 安全扩展
dig trace 的输出主要有四部分：
  • 一：查到根域名服务器 (.) 的 NS 记录。
  • 二：从 NS 中选一个，查询顶级域名 com. 的 NS 记录。
  • 三：从 com. 的 NS 记录中选一个，查找二级域名 baidu.com. 的 NS 记录。
  • 四：从 baidu.com. 的 NS 记录中选一个，查询 baidu.com. 的 A 记录。

dnsmasq

最常用的 DNS 缓存服务器，还可作为 DHCP 服务器使用。
/etc/init.d/dnsmasq start
​
echo nameserver 127.0.0.1 > /etc/resolv.conf

测试相关

sysbench

多线程基准测试工具。
  • --thread: 线程数
  • --time: 执行多少秒
apt-get install sysbench
​
sysbench --num-threads=8 --max-requests=100000 --test=cpu run
​
sysbench --test=memory --memory-oper=read --memory-access-mode=seq run
sysbench --test=memory --memory-oper=write --memory-access-mode=seq run
sysbench --test=memory --memory-oper=read --memory-access-mode=rnd run
sysbench --test=memory --memory-oper=write --memory-access-mode=rnd run

stress

系统压力测试工具：apt install stress，重要的参数有：
  • -i, --io 模拟 N 个进程执行 sync()
  • -c,--cpu 模拟 N 个进程执行 sqrt()
  • -t,--timeout 执行 N 秒

ab

HTTP 服务性能测试工具。
yum install -y httpd-tools
​
# 并发 10 个请求，总共测试 10000 个请求
$ ab -c 10 -n 10000 http://192.168.0.10:10000/
测试结果分为请求汇总、连接时间汇总、请求延时汇总三部分。

fio

磁盘性能测试工具。
yum install -y fio
​
​
# 随机读
fio -name=randread -direct=1 -iodepth=64 -rw=randread -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb
​
# 随机写
fio -name=randwrite -direct=1 -iodepth=64 -rw=randwrite -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb
​
# 顺序读
fio -name=read -direct=1 -iodepth=64 -rw=read -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb
​
# 顺序写
fio -name=write -direct=1 -iodepth=64 -rw=write -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb
​
# direct，是否跳过系统缓存
# iodepth，使用异步 io 时，同时发出 io 请求的上限
# rw，io 模式
# ioengine，io 引擎
# bs，io 大小
# filename，文件或磁盘路径
  • slat，从 io 提交到实际执行 io 的时长。
  • clat，从 io 提交到完成 io 的时长。
  • lat，fio 创建 io 到 io 完成的时长。
  • bw，吞吐量。
  • iops，每秒 io 次数。
对于同步 IO，clat = 0；对于异步 IO，lat ≈ slat + clat。
### fio 还支持重放
​
# 使用blktrace跟踪磁盘I/O，注意指定应用程序正在操作的磁盘
$ blktrace /dev/sdb
​
# 查看blktrace记录的结果
$ ls
sdb.blktrace.0 sdb.blktrace.1
​
# 将结果转化为二进制文件
$ blkparse sdb -d sdb.bin
​
# 使用fio重放日志
$ fio --name=replay --filename=/dev/sdb --direct=1 --read_iolog=sdb.bin

iperf

TCP、UDP 性能测试工具。
yum install -y iperf3
​
## 服务端（被测试端）启动服务
iperf3 -s -i 1 -p 10000
# -s 启动服务端
# -i 汇报时间间隔
# -p 监听端口
​
## 客户端运行测试
iperf3 -c 192.168.0.30 -b 1G -t 15 -P 2 -p 10000
# -c 启动客户端，后面为目标服务器 IP
# -b 目标带宽
# -t 测试时间
# -P 并发数
# -p 服务端端口
SUM 行就是测试汇总结果。包括测试时间、数据传输量、带宽等。又分为 sender 和 receiver 两行。

netperf

TCP、UDP 性能测试工具。

wrk

网络性能测试工具。
wrk --latency -c 100 -t 2 --timeout 2 http://192.168.0.30/
Previous
System Initialization
Next
CPU Diagnosis
Last modified 2yr ago