一、使用bpf trace來trace什么進程在讀取/etc/passw

1、創建bpf trace腳本

首先創建一個bpf trace腳本以便進行后續操作，下面是代碼示例：

sudo bpftrace -e 'tracepoint:syscalls:sys_enter_openat /arg1 == "0x0" && strstr(arg2->filename, "/etc/passwd")/{ printf("%d %s\n", pid, comm); }'

2、解釋腳本

3、執行腳本，等待輸出

當有進程讀取/etc/passwd文件時，命令行會輸出該進程的pid和進程名，可以從輸出中找到目標進程。

二、bpf trace介紹

1、簡介

在v21.07 release發布版本中，SPDK提供了對BPF追蹤（tracing）的支持。BPF追蹤指一組定義在 SPDK 庫的腳本和靜態探針，為用戶提供了檢查 SPDK 應用程序的另一種方法。SPDK很久以前就建立過一個名為libtrace的追蹤庫。支持BPF追蹤并不是要取代libtrace，而是要對它進行補充。這兩個庫的功能略有不同：libtrace的開銷很低，但靈活性較差。BPF追蹤的成本較高（請求CPU核trap陷阱），但功能更全面，甚至可以動態鏈接，不必在代碼中定義探針。

2、用戶態追蹤

首先，我們來探討什么是BPF追蹤，以及SPDK是如何利用它的。BPF，即Berkeley Packet Filter（伯克利包過濾器），是一項最初為分析和過濾網絡流量而開發的技術。用戶可以借此在專門的BPF虛擬機的操作系統內核運行用戶提供的程序。隨后BPF在Linux中得到擴展（擴展后的BPF簡稱為eBPF），可支持更多用例，其中也包括追蹤。

用戶能夠利用Linux 追蹤子系統在程序的特定地方附加探針，一旦觸發后會運行附加在該探針的eBPF程序。在用戶態應用程序中，BPF會放置一條指令（x86的int3指令），生成SIGTRAP，被CPU核捕獲后，即觸發執行eBPF程序。

SPDK使用BPF trace（https://github.com/iovisor/bpftrace）來定義和附加探針。BPF追蹤工具使用高級腳本語言（作者稱是awk和C語言的結合）來描述特定探針被觸發時的操作。探針可以分為靜態定義和動態定義兩種。靜態探針也稱為USDT（User Statically-Defined Tracing用戶靜態定義的探針），由程序員放置在代碼的各個關鍵位置（使用一種SPDK_DTRACE_PROBE*宏）。動態探針可以在任何函數開始時啟用，不需要更改代碼或重新編譯應用程序。但有一點需要注意：一些靜態函數調用可能會使編譯器產生inline，在這種情況下，不會照常執行探針追蹤。

3、追蹤工具

為了編譯靜態探針，SPDK必須配置–with-usdt。我們在Ubuntu 20.04和Fedora 33的數據包版本追蹤時都遇到了一些問題，因此建議從源碼構建最新版本的bpftrace。可以使用scripts/bpftrace.sh來附加和顯示追蹤。運行scripts/bpftrace.sh需要兩個參數：支持追蹤的進程參數PID和支持附加的bpftrace腳本。這些腳本能夠收集和顯示各種不同的信息和統計數據。例如，可以輸出某個函數每次被調用時的參數，計算某個代碼路徑被執行的次數，甚至可以創建并顯示一組數據的直方圖。SPDK 提供了幾個可用腳本，位于 scripts/bpf 目錄。

接下來我們來討論scripts/bpf/send_msg.bt腳本，應該如何用它來檢查SPDK應用程序呢？該腳本通過spdk_thread_send_msg()和spdk_for_each_channel()計算某函數的執行次數。腳本的內容簡單明了：

uprobe:__EXE__:spdk_thread_send_msg {                       @send_msg[usym(arg1)] = count();}uprobe:__EXE__:spdk_for_each_channel {                      @for_each_channel[usym(arg1)] = count();}

scripts/bpf/send_msg.bt腳本通過uprobe關鍵字定義了兩個動態探針，分別為send_msg和for_each_channel，將每個函數的調用次數存在映射。名列前茅個參數arg1是映射的密鑰之一，在這兩種探針下arg1指的都是待執行函數的指針。該腳本使用了兩個輔助函數：usym()函數負責返回給定地址的符號名稱，count()函數負責計算某個函數被調用的次數。

還有一個特殊變量是SPDK 特有的__EXE__。 scripts/bpftrace.sh 以可執行文件的名稱來代替該變量（即符合 bpftrace預期）。__PID__變量由追蹤進程的PID參數代替。這兩個變量都提供了更便捷的方法，在不同的應用程序中可使用相同的腳本。

4、SPDK和BPF追蹤

如前所述，SPDK追蹤庫其中一個目的是將開銷減至最小。這意味著每個追蹤點只能記錄最關鍵的數據。做到在I/O路徑中放置追蹤點，同時不對性能產生重大影響。但有了BPF追蹤，我們可以把bpftrace探針放在對象創建的位置，收集其屬性，然后用這些數據來輔助SPDK追蹤。

例如，在NVMe/RDMA I/O路徑中記錄指針，指向可執行請求的qpair。然后可以用bpftrace來記錄qpair的信息，比如它的隊列ID、線程ID、子系統NQN和主機NQN，SPDK顯示追蹤時與指針一同顯示。這就是scripts/bpf/trace.py腳本的功能。

5、總結

總而言之，現在SPDK可以使用更全面更有效的方法實現BPF追蹤以檢查應用程序。BPF追蹤由一組bpftrace程序、定義在SPDK庫的USDT探針和幾個腳本組成，這些腳本能夠簡化BPF追蹤，和常規的SPDK追蹤代碼結合使用。

延伸閱讀1：trace簡介

trace是一個計算機術語。TRACE和TRACK是用來調試web服務器連接的HTTP方式。TRACE宏對于VC下程序調試來說是很有用的東西，有著類似printf的功能。在MATLAB中，trace用于求二維方陣的跡，即該方陣對角線上元素之和。在Flex中，用作調試信息顯示函數，用于在debug（調試）模式下輸出。在SQL Server中有Default Trace默認跟蹤，數據庫記錄信息到log.trc文件，可以查看trace_event_id，46表示Create對象（Object:Created），47表示Drop對象（Object:Deleted），93表示日志文件自動增長（Log File Auto Grow），164表示Alter對象（Object:Altered），20表示錯誤日志（Audit Login Failed）。