DPDK-22.11.2 [四] Virtio_user as Exception Path

Posted on by hackdl

因为dpdk是把网卡操作全部拿到用户层，与原生系统驱动服务器托管网不再兼容，所以被dpdk接管的网卡从系统层面（ip a/ifconfig）无法看到，同样数据也不再经过系统内核。

如果想把数据再发送到系统，就要用到virtio user。这种把数据从dpdk再发送到内核的步骤，就叫做exception path。

有关virtio user，又有一系列的相关知识，这里系统的介绍一下。

hypervisor

hypervisor是一个软件，用来创建运行虚拟机(virtual machines/VMs)。hypervisor又叫做虚拟机监视器(virtual machine monitor/VMM)。运行hypervisor的机器叫做宿主机(host machine)，在运行在hypervisor上的虚拟机叫做访客机(guest machine)。

hypervisor有两种类型，一种是直接运行在硬件上(Type 1-native or bare-metal hypervisors)，hypervisor相当于操作系统；另一种是hypervisor运行在操作系统上(Type 2-hosted hypervisors)。

常见的hypervisor

hypervisor只是一种解决思路，目的就是为了更大化利用硬件资源。比如有一台计算机，没有虚拟化之前，只能给一个用户使用，然而这个用户不可能24小时在线，空闲时间，系统资源就浪费了。有了虚拟化，就可以把计算机虚拟出多个操作系统，给多个用户使用，更大化的利用系统资源。并且可以根据用户的重要性（付费情况）控制硬件资源的使用占比和优先级。现在的云就是虚拟化的进一步延伸。

VMware hypervisors

VMware hypervisors有两类产品，一种是Type 1，直接运行在硬件上：

  • ESXi hypervisor/VMware ESXi (Elastic Sky X Integrated)
  • VSphere hypervisor

另一种是Type 2，运行在操作系统上：

  • VMware Fusion
  • Workstation
  • VirtualBox

Hyper-V hypervisor

Hyper-V hypervisor是微软的产品，用在Windows上，是Type 1类型的，直接运行在硬件上。

Citrix hypervisors

XenServer是Citrix Hyp服务器托管网ervisor比较有名的产品，是Type 1类型，并且XenServer衍生出了Xen open source project。

Open source hypervisors

主要有KVM和Xen

Hypervisor KVM

Linux直接把kernel-based virtual machine (KVM)加到了系统中，并且对QEMU进行了补充。

Red Hat hypervisor

Red Hat hypervisor是基于KVM hypervisor开发的，同样可以在很多其他Linux版本运行，比如Ubuntu。

虚拟化类型

全虚拟化

由虚拟程序提供全部的虚拟化指令，比如我们用的virtualbox/vmware workstation等桌面虚拟机。好处就是与硬件完全隔离，迁移方便，坏处就是牺牲了性能。

硬件虚拟化

由于全虚拟化性能受到影响，所以又提出了硬件虚拟化，由硬件提供虚拟化方案，虚拟机直接访问硬件，虽然性能得到了提升，但是也产生了弊端：不方便迁移，必须依赖特定硬件，硬件提供的功能不完善，很多操作无法执行。

半虚拟化

为了解决上面的两个问题，又提出了半虚拟化，就是消耗性能的操作交给硬件（比如特定的解码器）或者操作系统，而其他的操作还是在虚拟机中完成。半虚拟化中使用最广泛的标准就是VirtIO。

VirtIO相当于是半虚拟化(paravirtualized hypervisor)的抽象层，有前端和后端，定义了一系列接口用于中间通信。后端相当于硬件或者操作系统层，具体实现可以不同，只要给定相应的接口操作即可；前端通过调用这些接口达到操作系统资源的目的。

这样的话，前端就可以放到虚拟机中，当需要更高性能操作时，通过前端访问后端资源，后端获得数据后发送到前端。

VirtIO Offload 就是通过VirtIO协议把操作卸载到硬件或者操作系统，也就是把一些消耗性能的操作从虚拟机中释放出来，由硬件或者操作系统实现，最后把结果返回虚拟机（比如网络流量处理）。

Deep dive into Virtio-networking

基础知识

网络

NIC (Network Interface Card) – 网卡，就是专门用来offload（卸载）CPU工作的，把一些网络处理交由网卡进行操作。

tun/tap – virtual point-to-point network devices that the userspace applications can use to exchange packets. The device is called a tap device when the data exchanged is layer 2 (ethernet frames), and a tun device if the data exchanged is layer 3 (IP packets).
When the tun kernel module is loaded it creates a special device /dev/net/tun. A process can create a tap device opening it and sending special ioctl commands to it. The new tap device has a name in the /dev filesystem and another process can open it, send and receive Ethernet frames.

IPC Inter-Process Communication

socket、eventfd和共享内存都是IPC的方式

实现方案

virtio-net/Networking with virtio: qemu implementation 基于QEMU的实现

从图上可以看到，qemu中处于guest kernel层的virtio net与qemu的virtio net通信，qemu的virtio net最后与系统kernel层的tap通信。中间经历了多次user space和kernel space的切换，并且使用的是系统默认的驱动，还有大量的中断处理，所以性能不高。

Vhost protocol

由于上面方案的局限性，vhost提出了改进，就是把消耗性能的模块，offload到另一个模块执行。换句话说，虚拟机不适合做的工作，就交给其他模块做，通过一些通信手段交互数据即可。

Vhost-net

Vhost-net就是对vhost协议的一种实现。这个功能已经集成到linux内核中。如果相关的内核模块加载后，可以在系统路径下看到/dev/vhost-net目录。

从这张图上我们可以看到，原来通信流程是qemu guest kernel中的virtio-net->qemu virtio-net->host kernel中的tap。现在中间少了一步，通过IPC(Inner-process communication)直接到host kernel的vhost-net，提高了性能。

vhost-user

上面的方案是通过共享内存的方式，映射到内核，但是还是有上下文切换。vhost-user把操作完全放到用户层，使用socket的方式与内核通信，没有了上下文切换，也降低了开发难度。

上面这种图可以看到，操作都被移动到用户层，使用DPDK避免了上下文切换和中断，大大提高了性能。

virtio-user

按照官方文档所述，virtio-user是与vhost-user一起引入的。vhost-user作为后端，virtio-user作为前端。virtio-user除了可以用在容器，与vhost-user一起使用，还可以与vhost-kernel使用，把数据包发送回操作系统。

硬件加速

HW vDPA(Hardware vhost Data Path Acceleration)是SR-IOV VF Passthrough的一种实现。

最快的肯定是直接使用硬件作为后端，把操作直接交给硬件。但是基于硬件的局限性比较大，功能也不如其他方式丰富，并且成本昂贵，所以除非在对性能要求非常高的场合，一般不会直接使用专有硬件作为后端。

Exception Path的方案介绍

TAP/TUN方案

这个是最早的方案，通过系统的TAP/TUN进行通信，调用的系统标准的api，缺点就是上下文切换和中断影响了性能。

KNI Kernel NIC Interface


KNI比TAP/TUN的好处就是减少了数据拷贝，可以支持linux系统管理工具（ethtool等）。

但是缺点就是，已经过时了，不安全，功能不全。

virtio user

virtio user用来代替kni，其优点是：

  • 被linux加入内核，不需要额外维护
  • 功能更完善
  • 性能更高

如下图是virtio user的基本流程示意图

使用Testpmd测试virtio-user

build/app/dpdk-testpmd -l 12-15 -a 0000:84:00.0 
    --vdev=virtio_user0,path=/dev/vhost-net,queues=1,queue_size=1024 -- --numa

-l 12-15 表示使用cpu core12到15
-a 0000:84:00.0 表示使用指定的网口，该网口必须有流量进来。
–vdev=virtio_user0,path=/dev/vhost-net,queues=1,queue_size=1024 表示创建一个虚拟设备，设备名是virtio_user0，路径是/dev/host-net（这样就可以把数据发送给系统了），queues=1表示通信队列有1个，queue_size=1024表示队列大小是1024。

启动后，通过ip a，可以看到多了一个tap0的设备。上面指定的virtio_user0表示是使用的时候的名称，至于系统显示的名称没有指定，就会默认为tapx。

ip a
...
69: tap0:  mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 1a:e0:f5:1f:21:5f brd ff:ff:ff:ff:ff:ff

设备创建出来后是down状态，需要up起来。官方示例指定了ip，实际上如果只是查看是否有接收数据，可以不用指定ip。

ip link set dev tap0 up

在通过ifconfig查看详细信息

ifconfig tap0
tap0: flags=4163  mtu 1500
        inet6 fe80::18e0:f5ff:fe1f:215f  prefixlen 64  scopeid 0x20
        ether 1a:e0:f5:1f:21:5f  txqueuelen 1000  (Ethernet)
        RX packets 1175788  bytes 947947134 (904.0 MiB)
        RX errors 0  dropped 1  overruns 0  frame 0
        TX packets 6  bytes 516 (516.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

可以看到有数据传递进来。

如果有多个网口可以指定多个，这样就会有两个虚拟设备tap0和tap1。

build/app/dpdk-testpmd -l 12-15 -a 0000:84:00.0,0000:84:00.1 
    --vdev=virtio_user0,path=/dev/vhost-net --vdev=virtio_user1,path=/dev/vhost-net -- --numa

另起一个进程，指定tap0为接收设备，就可以接收到数据。

build/app/dpdk-testpmd -l 2-5 --vdev=net_af_packet0,iface=tap0 --in-memory --no-pci

使用basicfwd修改一个手动创建虚拟设备的示例

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#define RX_RING_SIZE 1024
#define TX_RING_SIZE 1024

#define NUM_MBUFS 8191
#define MBUF_CACHE_SIZE 250
#define BURST_SIZE 32
uint16_t virport[64];
int virportnum = 0;
struct lcore_conf
{
    unsigned n_rx_port;
    unsigned rx_port_list[16];
    int pkts;
} __rte_cache_aligned;

static struct lcore_conf lcore_conf_info[RTE_MAX_LCORE];

static inline int port_init(uint16_t port, struct rte_mempool *mbuf_pool)
{
    uint16_t portid = port;
    struct rte_eth_conf port_conf;
    uint16_t nb_rxd = RX_RING_SIZE;
    uint16_t nb_txd = TX_RING_SIZE;
    int retval;
    uint16_t q;
    struct rte_eth_dev_info dev_info;
    int istx=0;

    if (!rte_eth_dev_is_valid_port(port))
        return -1;
    // 需要判断是否是虚拟网卡
    // 因为动态创建的网卡也会遍历进来，需要额外处理
    for (int i = 0; i  0)
            {
                continue;
            }

            struct lcore_conf *qconf = &lcore_conf_info[i];
            qconf->rx_port_list[qconf->n_rx_port] = port;
            qconf->n_rx_port++;
            break;
        }
    }

    return 0;
}

static int lcore_main(void *param)
{
    int ret;
    int lcore_id = rte_lcore_id();
    struct lcore_conf *qconf = &lcore_conf_info[lcore_id];

    int master_coreid = rte_get_main_lcore();
    uint16_t port;
    if (qconf->n_rx_port == 0)
    {
        printf("lcore %u has nothing to don", lcore_id);
        return 0;
    }

    if (lcore_id == rte_get_main_lcore())
    {
        printf("do not receive data in main coren");
        return 0;
    }

    RTE_ETH_FOREACH_DEV(port)
    if (rte_eth_dev_socket_id(port) >= 0 &&
        rte_eth_dev_socket_id(port) !=
        (int) rte_socket_id())
        printf("WARNING, port %u is on remote NUMA node to "
               "polling thread.ntPerformance will "
               "not be optimal.n", port);

    printf("nCore %u forwarding packets. [Ctrl+C to quit]n", rte_lcore_id());
    uint16_t portid;
    for (;;)
    {
        for (int i = 0; i n_rx_port; i++)
        {
            int port = qconf->rx_port_list[i];
            portid = port;
            struct rte_mbuf *bufs[BURST_SIZE];
            uint16_t nb_rx = rte_eth_rx_burst(port, 0, bufs, BURST_SIZE);

            if (unlikely(nb_rx == 0))
                continue;
            uint16_t nb_tx = 0;
            for (int i = 0; i

编译运行，通过ip a查看

ip a
...
70: virtio_user0:  mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 1a:e0:f5:1f:21:01 brd ff:ff:ff:ff:ff:ff

可以看到该设备，因为指定了名称，则不再是tap0，而是我们指定的virtio_user0。mac地址也是我们指定的。

开启设备，再次查看信息

ip link set dev virtio_user0 up

ip a
70: virtio_user0:  mtu 1500 qdisc mq state UNKNOWN group default qlen 1000
    link/ether 1a:e0:f5:1f:21:01 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::92e2:baff:fe85:3d01/64 scope link tentative 
       valid_lft forever preferred_lft forever

查看网卡接收数据包信息

ifconfig virtio_user0
virtio_user0: flags=4163  mtu 1500
        inet6 fe80::92e2:baff:fe85:3d01  prefixlen 64  scopeid 0x20
        ether 1a:e0:f5:1f:21:01  txqueuelen 1000  (Ethernet)
        RX packets 2899366  bytes 2334954577 (2.1 GiB)
        RX errors 0  dropped 1  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

http://doc.dpdk.org/guides-22.11/howto/virtio_user_as_exception_path.html
https://www.redhat.com/en/topics/virtualization/what-is-a-hypervisor
https://en.wikipedia.org/wiki/Hypervisor
https://www.ibm.com/topics/hypervisors
https://aws.amazon.com/cn/what-is/hypervisor/
https://developer.ibm.com/articles/l-virtio/
https://docs.oasis-open.org/virtio/virtio/v1.2/virtio-v1.2.html
https://www.redhat.com/en/blog/deep-dive-virtio-networking-and-vhost-net
https://qemu-project.gitlab.io/qemu/interop/vhost-user.html
https://www.redhat.com/en/blog/journey-vhost-users-realm
https://mp.weixin.qq.com/s/q3qAaMBGyQ5E2_2Dd-IvdA
https://www.cnblogs.com/bakari/p/8971710.html
https://doc.dpdk.org/guides-18.08/sample_app_ug/exception_path.html
https://doc.dpdk.org/guides/prog_guide/kernel_nic_interface.html

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net

相关推荐: Kstry流程编排框架

    🟢 项目主页     🟢 Kstry概念介绍     🟢 Kstry 使用文档     🟢 Kstry 使用demo     🟢 Kstry 流程注解+flux 使用demo     🟢 功能测试 Kstry是什么？     Kstry可以将原本存在于…

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用

服务器托管

咨询：董先生

电话13051898268 QQ/微信93663045！

上一篇:
下一篇: