KVM计算虚拟化原理,偏基础

Technorati 标签:
云计算,虚拟化

本文基于网上的材料整理而成为。

第一章 服务器虚拟化概述

1.1 为什么要服务器虚拟化

苟物理机上独布置一种植工作,资源利用率太没有,不便民节资金。如果说生区域用用物理机来保证平稳,对于开发测试区使用虚拟机不但可节省有限的物理机资源,还得速达标线。

1.2 虚拟化发展历史

  • 提出概念:1959年6月提出,在列国信息处理大会上发表的《大型高速计算机中的时光共享》论文中提出
  • 开发技术:20世纪60年份起,IBM操作系统虚拟化技术利用在了大型机和袖珍机上
  • 蓬勃发展:20世纪90年份,VMware公司第一实现了X86绑架构上的虚拟化,于1999年推出了x86平台及的首先慢慢悠悠虚拟化商业软件VMware
    workstation。
  • 群雄逐鹿:更多的厂商参加了虚拟化技术之队伍

第二章 服务器虚拟化

服务器虚拟化主要发生星星点点种植方法:

  • 硬件虚拟化:通过Hypervisor层虚拟出硬件系统环境,将硬件系统CPU发出的授命经过处理后传至大体CPU上。

硬件虚拟化的关键在于Hypervisor层。

所谓Hypervisor层就是以情理服务器和操作系统中运行的软件层,可以本着拟硬件系统,将次第对是硬件系统CPU发送的下令经过处理下,加以虚拟传到物理CPU上。同时她好协调访问服务器上的情理设备和虚拟机,也受虚拟机监视器(VMM
)。

  • 容器:只是虚拟化出利用运行时之条件,是比较轻量的虚拟化,层次较浅。

2.1 服务器虚拟化架构

  • 裸金属架构:Hypervisor层直接运行在硬件系统上。典型例证是KVM。KVM其实就算是Linux内核供的虚拟化架构,可拿基本直接当Hypervisor,KVM一般要处理器本身支持虚拟化扩展技术,如Intel
    VT等。KVM使用内核模块kvm.ko来促成中心虚拟化功能,但是只提供了CPU和内存的虚拟化,必须结合QEMU才能够做完整的虚拟化技术。

发展历史 1

  • 宿主架构:典型的即是QEMU,它可经二进制转换来效仿CPU,使Guest
    OS认为自己再也跟硬件打交道。
    发展历史 2

2.2 CPU虚拟化

经过的推行有三三两两种植状态

  • 外核态:主要用以硬件访问,修改主要参数,
  • 所以户态:用户运行应用程序。

零星种状态的权不同,对硬件的看必须在内核态,可以保证系统的可靠性,只被使用人员开放用户态,不见面对OS的运作带来大之震慑。避免系统被人工攻击。

OS内核数据以及代码区应该和用户区完全割裂,也就是说程序可以视底地点都是为此户态地址,当程序执行系统调用的当儿,进程会切入内核态进行基本访问,这时页表也欲切换至外核态的页表,带来的问题是性质于差。因为页表在内存中,切换会带来性能的大跌。

故此时主流的OS的做法是以本代码和数据区放到用户进程虚拟地址控制器的高位区,32bit系统放到3~4G,windows默认占用2~4G区,64bit系统也在高位。这样带的好处是,进程空间的内核区也让射到大体内存区,进程的切换不会见招TLB中之前缓存的指向内核区页表失效,保证了性能。

事实上进程是无法访问内核区,因为强行访问的言语,页表条目有权限位(进程时权限保存在寄存器的CPL字段,为Ring3,而本页表的权为Ring0,所以CPU会禁止访问。)

总结一下即便是x86 架构提供四独特权级别为操作系统及应用程序来走访硬件。
Ring 是借助 CPU 的运行级别,Ring 0是最高级别,Ring1涂鸦的,Ring2再糟的……

  • 基础需要直接访问硬件与内存,因此它们的代码需要周转在高运行级别
    Ring0上,这样它们可利用特权指令以控制中断、修改页表、访问设备等等。
  • 应用程序的代码运行在低于运行级别达Ring3及,如何如拜磁盘,那就是用实施系统调用,此时CPU的运行级别会出打ring3交ring0的切换,并跨越反到系统调用对应之基石代码位置执行,这样基本就吧您完了了设施看,完成后再也由ring0返回ring3。这进程为称打算户态和内核态的切换。

发展历史 3

对非虚拟化操作系统而言,应用程序和体系发出的家常指令都运行在用户级别指令中,只有特权指令运行在主导级别中,这样操作系统及下解耦合。

那,虚拟化在此虽赶上了一个难题,因为物理机OS是做事于 Ring0
的,虚拟机的操作系统就是无可知也以 Ring0
了,所以有些特权指令是尚未尽权的

CPU虚拟化的点子就是

  • 特权解除:让Guest
    OS运行于用户级别,让hypervisor运行于基本级别,这样即使打消了Guest
    OS的特权级别。
  • 深陷模拟:运作在Guest
    OS的日常指令像过去一模一样运行,当运行到特权指令时,会起异常并受hypervisor捕获。
    发展历史 4

这就是说难在:

  • 安模拟x86保护模式
  • 哪些堵住并履行虚拟机的Ring0指令。
    釜底抽薪智如下
2.2.1 CPU虚拟化技术解决措施
  • 全虚拟化:客户操作系统运行在 Ring
    1,它以执行特权指令时,会沾异常,然后
    hypervisor捕获这个深,在大里面做翻译,最后回到到客户操作系统内,客户操作系统认为自己之特权指令工作正常化,继续运行。所以呢被二进制翻译技术(Binary
    Translate)。
    可这个特性损耗大之不行,简单的同样久指令现在可要经复杂的很处理过程
    发展历史 5

    • 可取:不用修改GuestOS内核可以直接使用
    • 缺陷:在VMM捕获特权指令和翻译过程会促成性的降。
      发展历史 6
      自从上图可以看来,当虚拟机中的使用要运行在内核态的时段,会由此Hypervisor层的效仿,通过二进制翻译技术,将命替换为另外的下令。
  • 半虚拟化:修改操作系统内核,替换掉不克虚拟化的授命,通过顶尖调用(hypercall)直接和底的虚拟化层hypervisor来报道,
    对立于意虚拟化性能再胜,因为省去了翻的长河。但是急需针对Guest
    OS进行改动,应用场景不多。
    发展历史 7
  • 硬件辅助虚拟化: 2005年后,CPU厂商Intel 和 AMD 开始支持虚拟化了。
    Intel 引入了 Intel-VT (Virtualization Technology)技术
    重中之重的实现方式是充实了一个VMX
    non-root操作模式,运行VM时,客户机OS运行在non-root模式,依然时有发生Ring0~ring3等级别
    当运行特权指令时抑或发中断的时光,通过VM_EXIT就得切换至root模式,拦截VM对虚拟硬件的访。执行完毕,通过VM_ENTRY回到non-root即可。
    发展历史 8
    这种技能主要代表为intel VT-X,AMD的AMD-V
    发展历史 9

全虚拟化

半虚拟化

硬件辅助虚拟化

实现技术

BT和直接执行

Hypercall

客户操作系统修改/兼容性

无需修改客户操作系统,最佳兼容性

客户操作系统需要修改来支持hypercall,因此它不能运行在物理硬件本身或其他的hypervisor上,兼容性差,不支持Windows

性能

好。半虚拟化下CPU性能开销几乎为0,虚机的性能接近于物理机。

应用厂商

VMware Workstation/QEMU/Virtual PC

Xen

KVM 是基于CPU
帮扶的全虚拟化方案,它要CPU虚拟化特性的支撑。
总结:
发展历史 10

2.3 内存虚拟化原理

外存虚拟化指的凡共享物理系统内存,动态分配给虚拟机。虚拟机的内存虚拟化很象虚拟内存方式

虚拟内存是计算机体系内存管理之均等种植技术,目的是叫应用程序认为她富有连续的可用之内存(一个老是完整的地方空间)。其实就是是操作系统将内存资源的虚拟化,屏蔽了外存调用之底细,对应用程序而言,不欲关怀内存访问的底细,可以把内存当作线性的外存池。

x86 CPU 都包括了一个叫内存管理之模块MMU(Memory Management Unit)和
TLB(Translation Lookaside Buffer),通过MMU和TLB来优化虚拟内存的性质。

OS将内存以4KB为单位进行分页,形成虚拟地址和物理地址的映射表。一经OS在物理机上运行,只要OS提供者页表,MMU会于拜访存时自动开虚拟地址(Virtual
address, VA)到大体地址(Physical address, PA)的转向。

而是只要虚拟机上运行OS,Guest
OS经过地方转化及的“物理地址”实际上是QEMU的逻辑地址,因此还欲采用软件用该转会为真物理内存地址

对OS运行于物理机上的气象

发展历史 11

如经过看内存的下,发现映射表中尚从来不物理内存进行相应。如下图

发展历史 12

这时MMU向CPU发出缺页中断,操作系统会冲页表中之外存地址,在外存中找到所缺少的一模一样页,将其调入内存。同时创新页表的映照关系。下一样不成拜访的时刻可以直接命中物理内存。

发展历史 13

对于OS在虚拟机中之图景,过程将复杂很多。

对此虚拟机内之经过的变换,需要展开两次换。也就是说首先将使用的逻辑地址转换为虚拟机的物理地址,而当时其实是QEMU进程的逻辑地址,所以一旦投到骨子里内存的大体地址还索要举行同样涂鸦变。

发展历史 14

  • VA:应用的虚拟地址
  • PA:虚拟机物理地址,也是QEMU进程的逻辑地址
  • MA:物理机的情理地址

可见,KVM
为了以平华机械及运行多单虚拟机,需要加一个初的外存虚拟化层,也就是说,必须虚拟
MMU 来支持客户OS,实现 VA -> PA -> MA 的翻。

客户操作系统继续控制虚拟地址到客户内存物理地址的映射 (VA ->
PA),但是客户操作系统不能够直接访问实际机器内存,因此VMM
需要背映射客户物理内存到实际机器内存 (PA -> MA)。

发展历史 15

VMM 内存虚拟化的兑现方式:

  • 软件方式:通过软件实现内存地址的翻译,比如 Shadow page table
    (影子页表)技术
  • 硬件实现:基于 CPU 的帮虚拟化功能,比如 AMD 的 NPT 和 Intel 的 EPT
    技术
2.3.1 软件方式

阴影页表(SPT,shadow page
table):Hypervisor为虚拟机护了一个虚拟机的虚拟地址暨宿主机物理地址照耀的之页表。也就是说,在原本的一定量层地址层次基础及加了一样交汇地下物理地址层次,通过这张表可以拿客户机虚拟地址宿主机物理地址以内展开映射。

客户OS创建之后,Hypervisor创建其针对性承诺影子页表。刚开头影子页表是拖欠的,此时外客户OS的访存操作都见面发缺页中断,然后Hypervisor捕获缺页异常

发展历史 16

经简单不成地址映射转换获得虚拟机虚拟地址物理机物理地址的照耀关系,写副影子页表,逐步到位具有虚拟地址到宿主机机器地址之照射。
发展历史 17

代价是需保障虚拟机的页表和宿主机的阴影页表的联合。

2.3.2 通过INTEL EPT技术来落实

KVM 中,虚机的大体内存纵使为 qemu-kvm 进程所占有的内存空间。KVM 使用
CPU 辅助的内存虚拟化方式。在 Intel 和 AMD
平台,其内存虚拟化的实现方式分别吗:

  • AMD 平台及之 NPT (Nested Page Tables) 技术
  • Intel 平台上之 EPT (Extended Page Tables)技术
    EPT 和 NPT采用类似之法则,都是用作 CPU
    中初的等同重叠,通过硬件用来拿客户机的大体地址翻译为主机的物理地址。也就是说Guest
    OS完成虚拟机虚拟地址–>虚拟机物理地址第一交汇转化,硬件同时完成虚拟机物理地址及物理机物理地址这第二层转化。第二层转换对Guest
    OS来说是晶莹剔透底,Guest
    OS访问内存时和在物理机运行时是平之。这种措施以称为内存辅助虚拟化。

于是内存辅助虚拟化就是直用硬件来兑现虚拟机的物理地址及宿主机的大体地址的一步到位映射。VMM不用再保留一客
SPT (Shadow Page
Table),通过EPT技术,不再用联合两独页表,虚拟机内部的切换为不需要qemu进程切换,所急需之凡只有是有限软页表查找,而且是通过硬件来完成的,性能损耗低。

流程如下:

  • VM中的运用发现页没分片,MMU发起中断,从虚拟机的情理地址(QEMU的逻辑地址)中分红一页,然后更新页表。
    发展历史 18
  • 此刻虚拟机页的大体地址还无对许物理内存的地址,所以触发了qemu进程在宿主机的page
    fault。宿主机内核分配内存页,并创新页表。
    发展历史 19
  • 下次走访就可借助EPT来进行,只需要查阅两糟表明即可。

发展历史 20

总结:
发展历史 21

2.4 KVM其他内存管理技术

2.4.1 KSM (Kernel SamePage Merging 或者 Kernel Shared Memory)

KSM 是内核中之护理进程(称为
ksmd),它会定期进行页面扫描,将副本页面进行联,然后释放多余的页面。KVM使用KSM来减多独一般的虚拟机的内存占用,提高内存的用频率,在虚拟机使用相同镜像和操作系统时,效果进一步肯定。但是会大增水源开发,所以为了提升效率,可以用这特性关闭。

2.4.2 KVM Huge Page Backed Memory (巨页内存技术)

Intel 的 x86 CPU 通常采用4Kb内存页,当是经安排,也能够采取巨页(huge
page): (4MB on x86_32, 2MB on x86_64 and x86_32
PAE)使用巨页,KVM的虚拟机的页表将采取还少之内存,并且将增长CPU的效率。最高情况下,可以加强20%之频率!

2.5 IO虚拟化

  • 宪章(完全虚拟):使用 QEMU 纯软件的法门来学 I/O
    设备。使用一个Service VM来模拟实硬件,性能大不同。
    客户机的装置驱动程序发起 I/O
    请求操作请求,KVM会捕获此IO请求,然后放到IO共享页,同时用户空间的QEMU进程,QEMU模拟出此次IO操作,同样置于共享页中连同时KVM进行结果的取回。

小心:当客户机通过DMA (Direct Memory Access)访问大块I/O时,QEMU
模拟程序将无会见拿结果放上一道享页中,而是经过外存映射的措施以结果直接写及客户机的内存中,然后通知KVM模块告诉客户机DMA操作都到位。

发展历史 22

  • 半虚拟化: KVM/QEMU就利用这种模式,它以 Guest OS 内核中安装前端驱动
    (Front-end driver)和于 QEMU
    中实现后端驱动(Back-end)的计。前后端驱动通过 vring
    (实现虚拟队列的环形缓冲区)直接通信,这便绕了了经 KVM
    内核模块的长河,提高了IO性能,相对于意虚拟的模式,
    省夺了纯粹模仿模式下之充分捕获环节,Guest OS 可以同 QEMU 的 I/O
    模块直接通信。

发展历史 23

  • IO-through:直接拿机物理设备分配为虚拟机,不过需要硬件具备IO透传技术;,Intel
    定义之 I/O 虚拟化技术变成 VT-d,AMD 的名 AMD-V。
    KVM 支持客户机以垄断方式访这宿主机的 PCI/PCI-E
    设备。通过硬件支撑之 VT-d
    技术以设备分吃客户机后,在客户机看来,设备是情理及连续在PCI或者PCI-E总线上之
    差一点拥有的 PCI 和 PCI-E
    设备还支持直接分配,除了显卡以外(显卡的特殊性在此)。PCI
    Pass-through 需要硬件平台 Intel VT-d 或者 AMD IOMMU
    的支撑。这些特点必须于 BIOS 中吃启用
    发展历史 24

    • 利:减少了 VM-Exit 陷入到 Hypervisor
      的进程,极大地提高了性,可以直达几乎和原生系统一样的性质。而且VT-d
      克服了 virtio 兼容性不好以及 CPU 使用频率比较高之题材。
    • 不足:独占设备的话,无法实现设备的共享,成本增高。
    • 相差之缓解方案:(1)在同样宝物理宿主机及,仅少数 I/O
      如网性要求比较高之客户机使用
      VT-d直接分配设备,其他的运用纯模仿或 virtio
      已达成多只客户机共享同一个配备的目的
      (2)对于网络I/O的解决办法,可以择 SR-IOV
      是一个网卡产生多只独立的虚构网卡,将每个虚拟网卡分配个一个客户机使用。

总结
发展历史 25

2.6 网卡虚拟化

VM发出的流量一般生个别栽

  • 交物理机外部的配备,
  • 至地面物理服务器上的虚拟机。

从而我们需要保证不同虚拟机流量的彼此隔离,同时又要考虑情理设备外虚拟机的互联互通。

解决办法:
于针对物理机外部的流量,给每个VM分配一个专用通道,共享物理网卡资源。
关键出如下几种植模式:

  • Bridge桥衔接模式:把物理主机上的网卡当交换机,然后虚拟来一个Bridge来接收发朝物理机的保证。
    发展历史 26
  • isolation mode:仅guest OS之间通信;不跟外部网络和宿主机通信。
    发展历史 27
  • routed mode:与外部主机通信,通过静态路由使得各Guest OS
    的流量需要经过物理网卡
    发展历史 28
  • nat:地址转换;在虚拟网卡和物理网卡之间确立一个nat转发服务器;对数据包进行源地址转换。
    发展历史 29

对里面流量:

  • 每当hypervisor上成立virtual
    switch,不过会吃CPU资源,而且是比较生安全隐患。(intel的VT-c用VMDq技术使网卡芯片处理部分vswitch的工作,同时用vFW来保障平安)
  • 好先行让流量产生服务器通过安全设备区域拓展数据清洗以后还返回。主流方式使硬件SR-IOV对VM流量进行识别及拍卖

总结

发展历史 30

2.7 Hypervisor层的虚拟化实现

操作系统是用户以及物理机的接口,也是运用及物理硬件的接口。核心作用在于任务调度和硬件抽象。

差操作系统的极其酷异在内核。

单内核、混合本、微内核、外内核的区别
发展历史 31

  • 单内核:内核所有的效益代码全部都运作于同一个根本空间内,优点是性性能大高,缺点是计划复杂,稳定性不敷好;
  • 微内核:类似C/S服务模式,只有极基础之代码会运行为本空间,其他的还运行为用户空间,优点是政通人和强,缺点性能比逊色;
  • 混本:性能及稳定之让步产物,完全出于设计者进行用户从定义;
  • 外内核:比微内核更加极端,连硬件抽象工作且交由用户空间,内核只需要保证应用程序访问硬件资源时,硬件是空之

发展历史 32

2.7.1 主流的Hypervisor总结

Hypervisor的类别

KVM

Xen

Hyper-v

ESX/ESXi

内核类型

Linux

Linux(修改)&Nemesis

Windows&Hyper-V

Linux&VMernel

内核

单核

外内核

外内核

混合内核

I/O虚拟化方式

类Service VM Model

Service VM Model

Service VM Model

Monolithic Model

特点

集成在Linux内核中

有被KVM取代之势,性能低于KVM

捆绑Windows Server

技术积累深厚,Vmkernel是核心竞争力

发表评论

电子邮件地址不会被公开。 必填项已用*标注