【工具】
SystemTap是Linux下的动态跟踪工具，可以方便的监控、跟踪运行中的程序或Linux内核操作，我们通过写SystemTap脚本（与C语言类似），编译为内核模块，然后加载到内核中运行，它带来的性能损耗比较小。
【两个应用举例】
一、 分析SQL语句在执行各个阶段的消耗
比如我们想统计一句SQL在解析阶段的执行时间，可以在mysqld进程的对应parse_sql函数上加探测点，统计函数执行时间。
脚本如下：
示例如下，当前QPS约1.6W，包含了SQL执行过程中解析、redo、binlog、undo、网络、IO读、IO写上的消耗，由于涉及的函数较多，这部分后续还需要整理完善。
也可以用来分析一句SQL的执行性能：
二、SQL执行时间统计分布
对于应用来说，主要关心数据库的吞吐量和响应时间，下面从应用负载的角度去衡量，服务器上当前执行SQL语句的性能分布情况。
下图是1秒聚合的SQL语句的执行时间分布图，表示大部分SQL的执行时间在128us以下：
【性能开销】
用sysbench做了简单压测，并发8线程时，运行stap脚本QPS从3.5W降到3.3W，性能损耗约6%；当并发32线程时，运行stap脚本QPS从9W降到7W，性能损耗约22%
【应用场景】
Systemtap功能非常强大，可以对mysqld进程下近25000个函数以及kernel下35000个函数自定义脚本进行跟踪统计，可用来分析内存、CPU、IO、网络等各种问题。
SystemTap的使用可以参考下面的文章：
1、听阿里云CDN安防技术专家金九讲SystemTap使用技巧
https://yq.aliyun.com/articles/174916?utm_content=m_28902
2、巧用Systemtap注入延迟模拟IO设备抖动
http://blog.yufeng.info/archives/2935
3、MYSQL数据库网卡软中断不平衡问题及解决方案
