51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

用QEMU研究Linux内核PCI子系统

译文
作者：布加迪
系统 Linux
Oracle Linux内核工程师Dongli Zhang介绍了如何利用QEMU研究Linux内核PCI子系统。

[[409636]]

【51CTO.com快译】Linux PCI子系统是Linux内核中最重要的子系统之一。本文介绍了使用QEMU来仿真不同的PCI/PCIe配置，以帮助研究Linux PCI子系统。这种能力便于Linux管理员或开发人员研究、调试和开发Linux内核，因为使用QEMU定制PCI/PCIe配置要容易得多。比如说，结合SeaBIOS源代码，研究PCI初始化和探测过程会容易得多。此外，与重启裸机服务器相比，重启QEMU/KVM虚拟机的速度也快得多。

就本文中的所有示例而言，KVM虚拟机运行Oracle Linux 8，虚拟机内核版本为5.10.0，QEMU版本为 5.2.0。

所有示例都将启动盘(ol8.qcow2)作为默认IDE来运行。由于本文的目的是研究PCI/PCIe，我们以virtio-scsi-pci HBA为例，不会将任何SCSI LUN连接到HBA。参阅之前的这篇博文，即可了解如何将SCSI LUN连接到 virtio-scsi-pci HBA。

文章重点介绍使用QEMU和PCI/PCIe，不涉及有关PCI/PCIe规范的任何基础知识。

PCI桥

这部分演示如何通过PCI-2-PCI桥创建PCI辅助总线。辅助总线通过“pci-bridge”来创建。

  1. qemu-system-x86_64 -machine pc,accel=kvm -vnc :8 -smp 4 -m 4096M \ 
  2. -net nic -net user,hostfwd=tcp::5028-:22 \ 
  3. -hda ol8.qcow2 -serial stdio \ 
  4. -device pci-bridge,id=bridge0,chassis_nr=1 \ 
  5. -device virtio-scsi-pci,id=scsi0,bus=bridge0,addr=0x3 \ 
  6. -device pci-bridge,id=bridge1,chassis_nr=2 \ 
  7. -device virtio-scsi-pci,id=scsi1,bus=bridge1,addr=0x3 \ 
  8. -device virtio-scsi-pci,id=scsi2,bus=bridge1,addr=0x4 

上述QEMU命令行创建两条PCI辅助总线。一条辅助总线(01:00.0)有一个virtio-scsi-pci HBA(01:03.0)，第二条辅助总线(02:00.0)有两个virtio-scsi-pci HBA(02:03.0和02:04.0)。

  1. [root@vm ~]# lspci 
  2. 00:00.0 Host bridge: Intel Corporation 440FX - 82441FX PMC [Natoma] (rev 02) 
  3. 00:01.0 ISA bridge: Intel Corporation 82371SB PIIX3 ISA [Natoma/Triton II] 
  4. 00:01.1 IDE interface: Intel Corporation 82371SB PIIX3 IDE [Natoma/Triton II] 
  5. 00:01.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 03) 
  6. 00:02.0 VGA compatible controller: Device 1234:1111 (rev 02) 
  7. 00:03.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 03) 
  8. 00:04.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge 
  9. 00:05.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge 
  10. 01:03.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI 
  11. 02:03.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI 
  12. 02:04.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI 

下列lspci输出和数字描述了该示例的PCI总线拓扑结构。

  1. [root@vm ~]# lspci -t 
  2. [0000:00]-+-00.0 
  3.           +-01.0 
  4.           +-01.1 
  5.           +-01.3 
  6.           +-02.0 
  7.           +-03.0 
  8.           +-04.0-[01]----03.0 
  9.           \-05.0-[02]--+-03.0 
  10.                        \-04.0 

图1

PCI根总线

这部分演示如何通过“轻量级”PXB(PCI扩展桥)主机桥创建额外的PCI根总线。它是QEMU命令行中的“pxb”。它仅针对i440fx实现，只可以放在总线0上。

  1. qemu-system-x86_64 -machine pc,accel=kvm -vnc :8 -smp 4 -m 4096M \ 
  2. -net nic -net user,hostfwd=tcp::5028-:22 \ 
  3. -hda ol8.qcow2 -serial stdio \ 
  4. -device pxb,id=bridge1,bus=pci.0,bus_nr=3 \ 
  5. -device virtio-scsi-pci,bus=bridge1,addr=0x3 \ 
  6. -device pxb,id=bridge2,bus=pci.0,bus_nr=8 \ 
  7. -device virtio-scsi-pci,bus=bridge2,addr=0x3 \ 
  8. -device virtio-scsi-pci,bus=bridge2,addr=0x4 

上述QEMU命令行创建两条额外的PCI 根总线。第一条根总线(04:00.0)有一个virtio-scsi-pci HBA(04:03.0)，第二条根总线(09:00.0)有二个virtio-scsi-pci HBA(09:03.0和09:04.0)。

  1. [root@vm ~]# lspci 
  2. 00:00.0 Host bridge: Intel Corporation 440FX - 82441FX PMC [Natoma] (rev 02) 
  3. 00:01.0 ISA bridge: Intel Corporation 82371SB PIIX3 ISA [Natoma/Triton II] 
  4. 00:01.1 IDE interface: Intel Corporation 82371SB PIIX3 IDE [Natoma/Triton II] 
  5. 00:01.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 03) 
  6. 00:02.0 VGA compatible controller: Device 1234:1111 (rev 02) 
  7. 00:03.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 03) 
  8. 00:04.0 Host bridge: Red Hat, Inc. QEMU PCI Expander bridge 
  9. 00:05.0 Host bridge: Red Hat, Inc. QEMU PCI Expander bridge 
  10. 03:00.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge 
  11. 04:03.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI 
  12. 08:00.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge 
  13. 09:03.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI 
  14. 09:04.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI 

下列lspci输出和数字描述了该示例的PCI总线拓扑结构。

  1. [root@vm ~]# lspci -t 
  2. +-[0000:08]---00.0-[09]--+-03.0 
  3. |                        \-04.0 
  4. +-[0000:03]---00.0-[04]----03.0 
  5. \-[0000:00]-+-00.0 
  6.             +-01.0 
  7.             +-01.1 
  8.             +-01.3 
  9.             +-02.0 
  10.             +-03.0 
  11.             +-04.0 
  12.             \-05.0 

图2

PCIe根联合体

这部分演示如何通过额外的根联合体(Root Complex)创建额外的PCIe根总线。据QEMU源代码显示，PCIe特性只由x86架构上的“q35”机器类型和AArch64上的“virt”机器类型所支持。根联合体通过在QEMU命令行上使用“pxb-pcie”来创建。

  1. qemu-system-x86_64 -machine q35,accel=kvm -vnc :8 -smp 4 -m 4096M \ 
  2. -net nic -net user,hostfwd=tcp::5028-:22 \ 
  3. -hda ol8.qcow2 -serial stdio \ 
  4. -device pxb-pcie,id=pcie.1,bus_nr=2,bus=pcie.0 \ 
  5. -device ioh3420,id=pcie_port1,bus=pcie.1,chassis=1 \ 
  6. -device virtio-scsi-pci,bus=pcie_port1 \ 
  7. -device ioh3420,id=pcie_port2,bus=pcie.1,chassis=2 \ 
  8. -device virtio-scsi-pci,bus=pcie_port2 \ 
  9. -device pxb-pcie,id=pcie.2,bus_nr=8,bus=pcie.0 \ 
  10. -device ioh3420,id=pcie_port3,bus=pcie.2,chassis=3 \ 
  11. -device virtio-scsi-pci,bus=pcie_port3 

上述QEMU命令行创建两个额外的PCIe根联合体。第一个根联合体有一个virtio-scsi-pci HBA(09:00.0)，第二个根联合体有两个virtio-scsi-pci HBA(03:00.0和04:00.0)。

  1. [root@vm ~]# lspci 
  2. 00:00.0 Host bridge: Intel Corporation 82G33/G31/P35/P31 Express DRAM Controller 
  3. 00:01.0 VGA compatible controller: Device 1234:1111 (rev 02) 
  4. 00:02.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection 
  5. 00:03.0 Host bridge: Red Hat, Inc. QEMU PCIe Expander bridge 
  6. 00:04.0 Host bridge: Red Hat, Inc. QEMU PCIe Expander bridge 
  7. 00:1f.0 ISA bridge: Intel Corporation 82801IB (ICH9) LPC Interface Controller (rev 02) 
  8. 00:1f.2 SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA Controller [AHCI mode] (rev 02) 
  9. 00:1f.3 SMBus: Intel Corporation 82801I (ICH9 Family) SMBus Controller (rev 02) 
  10. 02:00.0 PCI bridge: Intel Corporation 7500/5520/5500/X58 I/O Hub PCI Express Root Port 0 (rev 02) 
  11. 02:01.0 PCI bridge: Intel Corporation 7500/5520/5500/X58 I/O Hub PCI Express Root Port 0 (rev 02) 
  12. 03:00.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI (rev 01) 
  13. 04:00.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI (rev 01) 
  14. 08:00.0 PCI bridge: Intel Corporation 7500/5520/5500/X58 I/O Hub PCI Express Root Port 0 (rev 02) 
  15. 09:00.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI (rev 01) 

下列lspci输出和数字描述了该示例的PCIe拓扑结构。

  1. [root@vm ~]# lspci -t 
  2. -+-[0000:08]---00.0-[09]----00.0 
  3.  +-[0000:02]-+-00.0-[03]----00.0 
  4.  |           \-01.0-[04]----00.0 
  5.  \-[0000:00]-+-00.0 
  6.              +-01.0 
  7.              +-02.0 
  8.              +-03.0 
  9.              +-04.0 
  10.              +-1f.0 
  11.              +-1f.2 
  12.              \-1f.3 

图3

PCI交换器

这部分演示了如何创建PCIe交换器。

  1. qemu-system-x86_64 -machine q35,accel=kvm -vnc :8 -smp 4 -m 4096M \ 
  2. -net nic -net user,hostfwd=tcp::5028-:22 \ 
  3. -hda ol8.qcow2 -serial stdio \ 
  4. -device ioh3420,id=root_port1,bus=pcie.0 \ 
  5. -device x3130-upstream,id=upstream1,bus=root_port1 \ 
  6. -device xio3130-downstream,id=downstream1,bus=upstream1,chassis=9 \ 
  7. -device virtio-scsi-pci,bus=downstream1 \ 
  8. -device xio3130-downstream,id=downstream2,bus=upstream1,chassis=10 \ 
  9. -device virtio-scsi-pci,bus=downstream2 

上述QEMU命令行创建了一个PCIe交换器，它连接有两个virtio-scsi-pci HBA。上游端口连接至根总线，而每个下游端口连接至virtio-scsi-pci HBA(03:00.0和04:00.0)。

  1.  [root@vm ~]# lspci 
  2. 00:00.0 Host bridge: Intel Corporation 82G33/G31/P35/P31 Express DRAM Controller 
  3. 00:01.0 VGA compatible controller: Device 1234:1111 (rev 02) 
  4. 00:02.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection 
  5. 00:03.0 PCI bridge: Intel Corporation 7500/5520/5500/X58 I/O Hub PCI Express Root Port 0 (rev 02) 
  6. 00:1f.0 ISA bridge: Intel Corporation 82801IB (ICH9) LPC Interface Controller (rev 02) 
  7. 00:1f.2 SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA Controller [AHCI mode] (rev 02) 
  8. 00:1f.3 SMBus: Intel Corporation 82801I (ICH9 Family) SMBus Controller (rev 02) 
  9. 01:00.0 PCI bridge: Texas Instruments XIO3130 PCI Express Switch (Upstream) (rev 02) 
  10. 02:00.0 PCI bridge: Texas Instruments XIO3130 PCI Express Switch (Downstream) (rev 01) 
  11. 02:01.0 PCI bridge: Texas Instruments XIO3130 PCI Express Switch (Downstream) (rev 01) 
  12. 03:00.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI (rev 01) 
  13. 04:00.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI (rev 01) 

下列lspci输出和数字描述了该示例的PCIe拓扑结构。

  1. [root@vm ~]# lspci -t 
  2. -[0000:00]-+-00.0 
  3.            +-01.0 
  4.            +-02.0 
  5.            +-03.0-[01-04]----00.0-[02-04]--+-00.0-[03]----00.0 
  6.            |                               \-01.0-[04]----00.0 
  7.            +-1f.0 
  8.            +-1f.2 
  9.            \-1f.3 

图4

IOMMU

现在，IOMMU始终被裸机所使用。QEMU能够仿真IOMMU，帮助开发人员调试和研究Linux内核IOMMU相关源代码以及DMA重映射和中断重映射的工作原理。

下列QEMU命令行演示了如何为虚拟机创建英特尔IOMMU(启用中断重映射)。除了QEMU命令行外，还应该将“intel_iommu=on”添加到虚拟机Linux内核命令行的末尾。

  1. qemu-system-x86_64 -machine q35,accel=kvm,kernel-irqchip=split -vnc :8 -smp 4 -m 4096M \ 
  2. -net nic -net user,hostfwd=tcp::5028-:22 \ 
  3. -hda ol8.qcow2 -serial stdio \ 
  4. -device nvme,drive=nvme0,serial=deadbeaf1,max_ioqpairs=4 \ 
  5. -drive file=disk1.qcow2,if=none,id=nvme0 \ 
  6. -device intel-iommu,intremap=on 

据虚拟机系统日志显示，IOMMU可用，并被Linux内核启用。

  1.  [root@vm ~]# dmesg | egrep "iommu|IOMMU" 
  2. ... ... 
  3. [    0.019828] DMAR: IOMMU enabled 
  4. [    0.203209] DMAR-IR: IOAPIC id 0 under DRHD base  0xfed90000 IOMMU 0 
  5. [    0.628348] iommu: Default domain type: Passthrough 
  6. [    1.078994] pci 0000:00:00.0: Adding to iommu group 0 
  7. [    1.079892] pci 0000:00:01.0: Adding to iommu group 1 
  8. [    1.080775] pci 0000:00:02.0: Adding to iommu group 2 
  9. [    1.081654] pci 0000:00:03.0: Adding to iommu group 3 
  10. [    1.082545] pci 0000:00:1f.0: Adding to iommu group 4 
  11. [    1.083432] pci 0000:00:1f.2: Adding to iommu group 4 
  12. [    1.084315] pci 0000:00:1f.3: Adding to iommu group 4 

原文标题：A study of the Linux kernel PCI subsystem with QEMU，作者：Dongli Zhang

【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】

 

责任编辑：华轩 来源： 51CTO
Linux开发虚拟机
相关推荐
浅谈Linux内核无线子系统
Linux内核无线子系统看成两大块：cfg80211和mac80211，它们连通内核其他模块和用户空间的应用程序。Linux内核无线子系统统一各种WiFi设备，并处理OSI模型中最底层的MAC、PHY两层。Linux子系统实现大部分的MAC高层回调函数。

2016-07-22 10:50:56

Linux内核无线子系统
Linux内核增加HDF驱动子系统
HDF驱动子系统是OpenHarmony重要的特色功能之一，其主要的功能是实现驱动程序在多内核多平台的物联网环境，实现一次驱动开发，多端部署。

2021-12-15 10:02:25

鸿蒙HarmonyOS应用
Linux内核SCSI IO子系统分析
LINUX内核中SCSI子系统由SCSI上层，中间层和底层驱动模块[1]三部分组成，主要负责管理SCSI资源和处理其他子系统......

2009-10-12 12:46:55

Linux内核SCSI IO
Linux 4.3内核增加了MOST驱动子系统
当Linux4.2内核还没有正式发布的时候，GregKroahHartman就为他维护的各种子系统模块打开了Linux4.3的合并窗口。Linux4.3的合并窗口更新，内容涉及驱动核心、TTY串口、USB驱动、字符杂项以及暂存区内容。这些拉取申请没有提供任何震撼性的改变，大部分都是改进附加修改bug。暂存区内容又是大量的修正和清理，但是还是有一个新的驱动子系统。

2015-10-19 17:36:19

MOST内核Linux
Devyn的Linux内核专题：配置PCI和ACPI
欢迎来到下一篇关于内核配置文章！还有大量的选项需要配置。这篇文章将主要讨论PCI和ACPI。

2013-11-25 17:39:17

Linux内核PCIACPI
微软更新Linux子系统，编译WSL 2内核只需3步
今年，微软在Build大会上向开发者放了两个“大招”：WindowsTerminal和WSL2。两个工具都是为了向开发者提供类似于Linux的体验。

2019-07-15 08:30:06

Linux 系统 数据
Devyn的Linux内核专题：配置PCI特性和网络
来享受这个Linux内核系列的下一篇文章。我们将继续配置PCI特性，接着是计算机中最重要的特性网络。

2013-12-18 11:14:57

Linux内核Linux Kerne
Linux内核继续打造WWAN子系统 发展通用驱动并加强扩展能力
Linaro继续领导Linux内核的无线广域网(WWAN)子系统框架的开发工作。该框架旨在至少部分地处理无线广域网硬件的复杂性和异质性。

2021-04-06 11:18:47

LinuxWWAN子系统驱动
Linux 中断子系统(一)：框架
中断是大家用的最多的功能，不管是单片机还是Linux系统，都需要用到中断，对它的深入理解是非常必要的。

2021-12-08 08:41:31

Linux 中断子系统Linux 系统
Windows 亲生的 Linux 子系统
WSL只是长得像Linux而已，虽然在这个子系统中，我们可以执行Linux程序，但是到了底层，WSL调用的还是win32API。

2021-07-22 08:03:08

Windows 操作系统Linux
Linux驱动 | input 子系统详解
Linux输入设备种类繁杂，常见的包括触摸屏、键盘、鼠标、摇杆等;这些输入设备属于字符设备，而linux将这些设备的共同特性抽象出来，Linuxinput子系统就产生了。

2021-08-31 11:53:38

Linux inputLinux 系统
Windows的Linux子系统之Arch Linux
Canonical和微软合作的BashonWindows也仅仅是Ubuntu的命令行而已，并非是正规的图形用户界面。

2016-10-17 08:49:15

WindowsLinuxArch Linux
Linux 中断子系统的驱动解析
这里主要分析linuxkernel中GICv3中断控制器的代码(driversirqchipirqgicv3.c)。

2021-08-10 11:30:30

Linux代码中断控制器
Linux 中断子系统的驱动解析
这里主要分析linuxkernel中GICv3中断控制器的代码(driversirqchipirqgicv3.c)。

2021-08-03 15:10:26

Linux代码驱动
漫话Linux之“躺平”: IDLE 子系统
当数据库处于全局锁的状态时，其他线程的一下语句会被阻塞：数据更新语句(数据的增删改)、数据定义语句(建表、索引变更、修改表结构等)和更新类事务的提交语句。

2021-06-07 08:13:11

LinuxIDLE 子系统
微软发布全新 Linux DirectX 驱动程序，升级 Windows 11/10 WSL 子系统内核
微软已经在Kernel.org上发布了一个新的Linux的DirectX内核驱动程序。更新后的驱动程序反映了微软首次尝试将该技术引入开源操作系统时的反馈。

2022-01-16 07:41:46

Windows 11操作系统微软
用Bpftrace去透视Linux内核
如果我们想看看tcp发送数据的大小，我们需要获取第三个（arg2）参数size的值。我们尝试写一个bpftrace的小脚本看一下size的值。

2022-11-27 11:00:15

用PCI合规网络检测清单限定PCI DSS范围
到目前为止，大多数安全人士可能已经意识到完全遵从支付卡行业数据安全标准（PCIDSS）将会在技术方面和操作层面上遇到极大的挑战。

2010-12-13 13:43:16

PCI DSS数据泄漏
Facebook 持续研究 BOLT 来提升 Linux 内核性能
Facebook作为积极贡献Linux内核的厂商，近年来，其工程师一直在持续研究BOLT，将此作为加速LinuxELF二进制文件的方法。

2021-09-27 09:52:41

FacebookBOLTLinux
Linux性能优化之IO子系统介绍
文件系统是内核的功能，是一种工作在内核空间的软件，访问一个文件必须需要文件系统的存在才可以。Linux可以支持多达数十种不同的文件系统，它们的实现各不相同，因此Linux内核向用户空间提供了虚拟文件系统这个统一的接口用来对文件系统进行操作。本文介绍了对LinuxIO子系统性能进行优化时需要考虑的因素，以及一些IO性能检测工具。

2015-11-10 16:55:00

性能IO子系统Linux
点赞
收藏

51CTO技术栈公众号

业务
速览
在线客服