在某些情况下,我们可能需要去截获Linux操作系统的一些异常处理,比如截获page fault异常处理。
可以修改内核的情况下:
如果我们能够修改内核,那么截获page fault异常处理就会非常简单。以linux 3.8.0内核为例,系统中发生page fault之后,会进入page fault异常处理,调用do_page_fault函数。do_page_fault的代码如下:
- dotraplinkage void __kprobes
- do_page_fault(struct pt_regs *regs, unsigned long error_code)
- {
- exception_enter(regs);
- __do_page_fault(regs, error_code);
- exception_exit(regs);
- }
我们把do_page_fault函数的内容提取出来,写成一个新的函数default_do_page_fault。再增加一个函数指针do_page_fault_handler,初始化为default_do_page_fault。将原来的do_page_fault内部改为调用函数指针do_page_fault_handler。修改之后的代码如下:
- void
- default_do_page_fault(struct pt_regs *regs, unsigned long error_code)
- {
- exception_enter(regs);
- __do_page_fault(regs, error_code);
- exception_exit(regs);
- }
- EXPORT_SYMBOL(default_do_page_fault);
- typedef void (*do_page_fault_handler_t)(struct pt_regs *, unsigned long);
- do_page_fault_handler_t do_page_fault_handler = default_do_page_fault;
- EXPORT_SYMBOL(do_page_fault_handler);
- dotraplinkage void __kprobes
- do_page_fault(struct pt_regs *regs, unsigned long error_code){
- do_page_fault_handler(regs, error_code);
- }
由于do_page_fault_handler被EXPORT_SYMBOL导出,我们在内核模块中可以很方便地访问它。只要将do_page_fault_handler的值设置为自定义的page fault异常处理函数,就能完成截获功能。如果想要恢复原来的异常处理函数,只需要再次把do_page_fault_handler设置为default_do_page_fault即可。
不能修改内核的情况下:
但是有些情况下,我们不能直接修改内核代码,需要在已经编译好的内核上完成截获功能。
开始的时候,我考虑在do_page_fault函数开始处插入跳转代码,跳转到自定义的page fault处理函数中。但是实践的时候发现,内核不允许直接修改do_page_fault的代码。
经过一番调查,又想到一个新的办法,即通过更改IDT表的方式来截获page fault。
内核原有的IDT表肯定是不能直接写的,所以我申请了一个页,将原来的IDT表复制过来,再更改页面异常对应的ISR(Interrupt Service Routine)。page fault的ISR名称为page_fault,它将寄存器压栈,将error number压栈,然后调用do_page_fault,待do_page_fault返回之后再恢复寄存器,退出异常处理。
在Linux内核中,ISR是用汇编写的。例如,x86_64 Linux的ISR源码位于内核源码arch/x86/kernel/entry_64.S中,X86_32的位于arch/x86/kernel/entry_32.S中。如果去读entry_64.S或者entry_32.S,你会发现这两个文件非常复杂,利用了很多的汇编宏和宏定义,无法方便地基于它们写一个自定义的ISR出来。
我的解决办法是将内核编译出来,反汇编vmlinux.o,然后查找page_fault,找到其汇编代码。下面的汇编代码就是linux-3.8.0 X86_64内核的:
- ffffffff8136f6f0 <page_fault>:
- ffffffff8136f6f0: 66 66 90 data32 xchg %ax,%ax
- ffffffff8136f6f3: ff 15 07 0a 2b 00 callq *0x2b0a07(%rip) # ffffffff81620100 <pv_irq_ops+0x30>
- ffffffff8136f6f9: 48 83 ec 78 sub $0x78,%rsp
- ffffffff8136f6fd: e8 ae 01 00 00 callq ffffffff8136f8b0 <error_entry>
- ffffffff8136f702: 48 89 e7 mov %rsp,%rdi
- ffffffff8136f705: 48 8b 74 24 78 mov 0x78(%rsp),%rsi
- ffffffff8136f70a: 48 c7 44 24 78 ff ff movq $0xffffffffffffffff,0x78(%rsp)
- ffffffff8136f711: ff ff
- ffffffff8136f713: e8 1f 2e 00 00 callq ffffffff81372537 <do_page_fault>
- 11 ffffffff8136f718: e9 33 02 00 00 jmpq ffffffff8136f950 <error_exit>
- 12 ffffffff8136f71d: 0f 1f 00 nopl (%rax)
我仿照着写了一个,名为my_page_fault:
- asmlinkage void my_page_fault(void);
- asm(" .text");
- asm(" .type my_page_fault,@function");
- asm("my_page_fault:");
- //the first 3 bytes of the routine basically do nothing,
- //but I decide to keep them because kernel may rely on them for some special purpose
- asm(" .byte 0x66");
- asm(" xchg %ax, %ax");
- asm(" callq *addr_adjust_exception_frame");
- asm(" sub $0x78, %rsp");
- asm(" callq *addr_error_entry");
- asm(" mov %rsp, %rdi");
- asm(" mov 0x78(%rsp), %rsi");
- asm(" movq $0xffffffffffffffff, 0x78(%rsp)");
- asm(" callq my_do_page_fault");
- asm(" jmpq *addr_error_exit");
- asm(" nopl (%rax)");
其中第9行addr_adjust_exception_frame是(pv_irq_ops+0x30)地址处存储的值;第11行addr_error_entry是error_entry的地址;第16行addr_error_exit是error_exit的地址。这几个值需要从System.map文件中查询,然后用内核模块参数的形式传入。而my_do_page_fault则是我们自己定义的page fault处理函数。
如果需要截获X86_32的page fault,可以参考这个C文件。不过需要注意的是,新版内核有所变动,这里的代码需要根据自己的情况做一些调整。
有了自定义的ISR之后,就可以将这个ISR填到IDT中,加载新的IDT表之后,自定义的page fault处理函数就开始发挥作用了。这个过程主要有以下几个步骤:
- 用store_idt(&default_idtr)保存现有的IDT寄存器值
- 从default_idtr中读出IDT表首地址和表的大小
- 申请一个页面
- 将原来的idt表拷贝到新申请的页面中
- 利用pack_gate将my_page_fault(注意不是my_do_page_fault)填入到对应的IDT项中
- 在idtr中填写新的IDT表地址和大小,用load_idt(&idtr)加载新的IDT表到当前CPU
- 利用smp_call_function,将新的IDT表加载到其他CPU上。
如果想恢复原来的IDT表,则用load(&default_idtr)和smp_call_function加载原来的IDT表,释放申请的页面。
读完文章之后,可以参考我的github中的代码:https://github.com/RichardUSTC/intercept-page-fault-handler