perf 排查高延迟

高延迟的 2 个场景，触发 perf 录包思路

 当前 perf 没有常驻内存，后续提供 perf 常驻内存功能。且 perf 启动需要 0.5~1s，所以，存在 2 个场景

1.频繁连续高延迟（复现后的几秒内，继续频繁复现）：可以配置自动触发工具，自动触发 perf trace 记录函数耗时，或 perf record 记录 cpu 火焰图。

2.出现一次后，过好久才会复现第二次：需要一直开启 perf trace 或 perf record，直到复现高延迟。（后续 perf 常驻内存后，可同场景 1，使用自动触发工具解决）

场景 1，配置高延迟自动触发工具去抓包
 

场景 2，使用 root 用户，在 MAP 容器内执行如下命令，会一直抓包 6 小时。当抓到包后，需要用户手动杀掉该进程，停止抓包：

./trigger_perf_trace.sh loop

抓 perf trace 和 perf record 包脚本：

可以放到自己的目录下，例如放到：/home/mogo/data/shizhonghe/trigger_perf_trace.sh

#!/bin/bash -e function trigger_once() {     now_str=`date "+%Y%m%d_%H%M%S.%N"`     date_str=`date "+%Y-%m-%d"`     uptime=`cat /proc/uptime | awk '{print $1}'`     log_dir=/home/mogo/data/log/monitor_cpu_mem_net/${date_str}/szh_${now_str}     pid=`ps -ef | grep '__name:=local_planning' | grep -v grep | awk '{print $2}'`     mkdir -p ${log_dir}     if [ "${pid}" != "" ] ; then         perf trace -T -p ${pid} -o "${log_dir}/perf_trace_${pid}_${now_str}_${uptime}.log" sleep $1 &     else         echo "pid null" > ${log_dir}/perf_trace_${pid}_${now_str}_${uptime}.log         sleep $1     fi     if which lsof > /dev/null; then         lsof -Pn -p ${pid} > ${log_dir}/lsof_${pid}_${now_str}.log      fi     wait } function main() {     if [ "$1" == "loop" ] ; then         local run_time=300         for ((i=1; i<=72; i++))         do             trigger_once ${run_time}         done     elif [ "$1" == "trigger" ] ; then         local run_time=5         trigger_once ${run_time}     else         echo "param unmatched!"     fi } main "$@"

使用 perf trace 还是 perf record？

1. perf trace:  linux 内核中存在一些埋点，这些埋点会记录内核 api 的时延信息。睡眠时延高（死锁了、io 操作多等），使用 perf trace 可以排查到

例如： perf trace 显示工作线程 write 函数写文件，耗时 30ms，此时说明写文件卡住了 30ms，此时一般是同步写文件了，需要改为异步写文件

            perf trace 显示工作线程中 futex wait 了 30ms，说明等待条件变量等待了 30ms

2.perf record 会对 cpu 采样，记录单个进程/多个进程/MAP 容器所有进程的， cpu 运行的函数样本，每个采样点都是一个堆栈，采集一段时间后，会得到很多堆栈，可以把这些堆栈合并到一起，即：火焰图

某个函数/进程的 cpu 占用率 = 该函数/进程的采样点数量 ÷ 总采样数量

如果某个模块
 

使用 perf trace 抓到数据后，如何找到高耗时 api

打印耗时 > 20ms 的内核 api

import sys for line in  open(sys.argv[1],"r"):     if "local_planning" not in line:         continue     l1 = line.split("(")     if len(l1) > 1:         l1 = l1[1]     else:         continue     l2 = l1.split("ms):")     if len(l2) > 1 :         l2 = l2[0]     else:         continue     tc = float(l2)     if tc >= 20.0 and tc < 10000:        print(line)