3.1 内存基础知识
内存的基础知识
- 什么是内存?内存有何作用?
内存可存放数据。
程序执行前需将程序先放到内存中才能被CPU处理。
内存被用来缓和CPU和硬盘之间的速度矛盾。
- 如何将指令中的逻辑地址转换为物理地址?
- 绝对装入:
单道程序阶段。
在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存。
比如装入模块(.exe文件)要从地址为100的地方开始存放,则编译程序将这段程序中的所有相对地址+100改为正确地址。
绝对装入只适用于单道程序环境。
- 可重定位装入(静态重定位):
用于早期多到批处理操作系统。
静态重定位,又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块转入到内存的适当位置。装入时对地址进行“重定位”,将逻辑地址变换为物理地址(地址变换是在装入时一次完成的)
静态重定位的特点是在一个作业装入内存时,必须分配其要求的全部内存空间,如果没有足够的内存,就不能装入该作业。
作业一旦进入内存后,在运行期间就不能再移动,也不能再申请内存空间。
- 动态运行时装入:
现代OS。
动态重定位:又称运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后,并不会立即把逻辑地址转换为物理地址,而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持。
重定位寄存器中存放装入模块存放的起始位置。在指令运行中,物理地址 = 逻辑地址 + 重定位寄存器地址。
采用动态重定位时允许程序在内存中发生移动。
并且可将程序分配到不连续的存储区中;在程序运行前只需要装入它的部分代码即可投入运行,然后在程序运行期间,根据需要动态申请分配内存;便于程序段的共享,可以向用户提供一个比存储空间大得多的地址空间。
- 从写程序到程序运行:
编译:由编译程序将用户源代码编译成若干个目标模块(目标块的划分可能是根据高级语言的函数进行划分)(编译就是把高级语言翻译成机器语言)
链接:由链接程序将编译后形成的一组目标模块,以及所需库函数链接在一起,形成一个完整的装入模块
装入(装载):由装入程序将装入模块装入内存运行。
- 链接的三种方式:
- 静态链接:
在程序运行之前,先将各目标模块及它们所需的库函数链接成一个完整的可执行文件(装入模块),之后不再拆开。
- 装入时动态链接:
将各目标模块装入内存时,边装入边链接的链接方式。(装入的过程中实现目标模块之间的链接)
- 运行时动态链接:
在程序执行中需要该目标模块时,才对它进行链接,其优点是便于修改和更新,便于实现对目标模块的共享。(用不到的模块不需要装入内存)
内存管理的概念
内存管理包括:
- 内存空间的分配与回收
- 连续分配管理方式
- 非连续分配管理方式
- 内存空间扩充
- 地址转换
- 存储保护
3.2 内存空间的分配与回收
OS作为系统资源的管理者,对内存资源需要管理些什么呢?
- OS负责内存空间的分配与回收。
- OS需要提供某种技术从逻辑上对内存空间进行扩充(虚拟性)。
- OS需要提供地址转换功能,负责程序的逻辑地址与物理地址的转换(三种装入方式)。
- OS需要提供内存保护功能。保证个进程在各自存储空间内运行,互不干扰。
内存保护可采取两种方法:
方法一:在CPU中设置一对上、下限寄存器,存放进程的上、下限地址。进程的指令要访问某个地址时,CPU检查是否越界。
方法二:采用重定位寄存器(又称基地址寄存器)和界地址寄存器(又称限长寄存器)进行越界检查。重定位寄存器中存放的是进程的起始物理地址。界地址寄存器中存放的是进程的最大逻辑地址。
连续分配管理方式
连续分配:指为用户进程分配的必须是一个连续的内存空间
单一连续分配
在单一连续分配中,内存被分为系统区和用户区。系统区通常位于内存的低地址部分,用于存放OS相关数据;用户区用于存放用户进程想换数据。
这种方式内存中同一时刻只能有一道用户程序,用户程序独占整个用户区空间。
优点:实现简单;无外部碎片;可采用覆盖技术扩充内存;不一定需要采取内存保护(e.g.早期的PC OS MS-DOS)
缺点:只能用于单用户、单任务的OS中;有内部碎片(分配给某进程的内存区域中,如果有些部分没有用上,就是“内部碎片”);存储利用率极低。
固定分区分配
为了能在内存中装入多道程序,且这些程序之间又不会相互干扰,于是将整个用户空间划分为若干个固定大小的分区,在每个分区中只装入一道作业,这样就形成了最早、最简单的一种可运行多道程序的内存管理方式。
固定分区分配可分为分区大小相等和分区大小不等两种。
- 分区大小相等:缺乏灵活性,但是很适合用一台计算机控制多个相同对象的场合(比如:钢铁厂有n个相同的炼钢炉,就可把内存分为n个大小相等的存储区域放n个炼钢炉控制程序)
- 分区大小不等:增加了灵活性,可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分(比如:划分多个小分区、适量中等分区、少量大分区)
OS如何记录分区的分配回收情况呢?
OS需要建立一个数据结构——分区说明表,来实现各个分区的分配与回收。每个表项对应一个分区,通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态(是否分配):
分区号大小(MB)起始地址(M)状态128未分配2210未分配3412已分配用数据结构的数组(或链表)即可表示这个表。
当某用户程序需要装入内存时,由OS内核程序根据用户程序大小检索该表,从中找到一个能满足大小、未分配的分区,将之分配给该程序,然后修改状态为“已分配”。
优点:实现简单,无外部碎片
缺点:a.当用户程序太大时,可能所有的分区都不能满足需求,此时不得不采用覆盖技术来解决,但这又会降低性能。
b.会产生内部碎片,内存利用率低。
动态分区分配
动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。
动态分区分配的三个问题:
- 系统要用什么数据结构记录内存的使用情况?
常用两种数据结构:空闲分区表和空闲分区链。
空闲分区表:每个空闲分区对应一个表项。表项中包含分区号、分区大小、分区起始地址等信息。示例如下:
分区号分区大小(MB)起始地址(M)状态1208空闲21032空闲3460空闲空闲分区链:每个分区的起始部分和末尾部分分别设置前向指针和后向指针。起始部分处还可记录分区大小等信息。
- 当很多空闲分区都能满足需求时,应该选择哪个分区进行分配?
把一个新作业装入内存时,需按照一定的动态分区分配算法,从空闲分区表(或空闲分区链)中选出一个分区分配给该作业。由于分配算法对系统性能有很大影响,因此人们对它进行了广泛研究。有4中常见算法:
- 首次适应算法(效果相对最好)
- 算法思想:每次都从低地址开始查找,找到第一个能满足大小的空闲分区。
- 如何实现:空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小满足要求的第一个空闲分区。
- 最佳适应算法
- 算法思想:由于动态分区分配是一种连续分配方式,为个进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即,优先使用更小的空闲区。
- 如何实现:空闲分区按容量递增次序链接每次分配内存时顺序查找空闲分区链,找到大小能满足要求的第一个空闲分区。
- 缺点:每次都选择最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片。
- 最坏适应算法
又称最大适应算法
- 算法思想:为了解决最佳适应算法的问题——即留下太多难以利用的小碎片,可以在每次分配内存时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。
- 如何实现:空闲分区按容量递减次序链接每次分配内存时顺序查找空闲分区链,找到大小能满足要求的第一个空闲分区。
- 缺点:每次都选择最大的分区进程分配,虽然可以让分配后留下的空闲区更大,更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达,就没有内存分区可用了。
- 邻近适应算法
- 算法思想:首次适应算法每次都要从链头开始查找,这可能会导致低地址部分出现很多很小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。
- 如何实现:空闲分区以地址递增的顺序排列(可形成一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链,找到大小能满足要求的第一个空闲分区。
- 邻近适应算法的规则可能会导致无论低地址、高地址的空闲分区都有相同的概率被使用,也就导致了高地址部分的大分区更可能被使用,划分为小分区,最后导致无大分区可用。
- 分配:
如果进程大小小于空闲分区大小,则分配后要修改空闲分区表内容。
如果进程大小等于空闲分区大小,则删除这一条空闲分区。
- 回收:
- 情况一:回收区后面有一个相邻的空闲分区。
这种情况下需要修改空闲分区表中的对应表项的分区大小和起始位置。
- 情况二:回收区前面有一个相邻的空闲分区。
和情况一一样。
- 情况三:回收区前后都有相邻空闲分区。
三个空闲分区合并成一个。
- 情况四:回收区前后都没有相邻空闲分区。
新增一个表项。
- 注:各表项的排列顺序不一定按照地址递增顺序排列,具体的排列方式需要根据动态分区分配算法来确定。
动态分区分配没有内部碎片,但是有外部碎片。
内部碎片:分配给某进程的内存区域中,如果有些部分没有用上。(进程区域内不能利用的地方)
外部碎片:内存中的某些空闲分区由于太小而难以利用。(进程与进程之前难以利用的地方)
如果内存中空闲空间的总和本来可以满足某进程的要求,但由于进程需要的是一整块连续的内存空间,因此这些碎片不能满足进程的需求。
可以通过紧凑技术来解决外部碎片。
非连续分配管理方式
非连续分配:为用户进程分配的可以是一些分散的内存空间。
具体包括:
- 基本分页存储管理
- 基本分段存储管理
- 段页式存储管理
基本分页存储管理
- 什么是分页存储?
将内存空间分为一个个大小相等的分区,每个分区就是一个页框(页框 = 页帧 = 内存块 = 物理块 = 物理页面)。每个页框有一个编号,即“页框号”(页框号 = 页帧号 = 内存块号 = 物理块号 = 物理页号),页框号从0开始。
将进程的逻辑地址空间也分为与页框大小相等的一个个部分,每一部分称为一个“页”或“页面”。每个页面也有一个编号,即“页号”,页号也是从0开始的。
OS以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说,进程的页面与内存的页框有一一对应关系。
各页面不必连续存放,可以放到不相邻的各个页框中。
注:页框(页帧、内存块、物理块)指内存在物理意义上被划分的一个一个部分。
页(页面)指进程在逻辑上被划分的部分。
- 页表
为了能知道进程的每个页面在内存中存放的位置,OS要为每个进程建立一张页表。
注:页表通常存在PCB中
- 一个进程对应一张页表
- 进程的每一个页面对应一个页表项
- 每个页表项由“页号”和“块号”组成
- 页表记录进程页面和实际存放内存块之间的映射关系。
问题一:每个页表项占多少字节?
页表项:页表中的一行。
e.g.设某物理内存大小为4GB,页面大小为4KB,则每个页表项至少应为多少字节?
一共有\(2^{32} / 2^{12} = 2^{20}\)个内存块。
因为OS是按字节分配存储空间,不是按位分配,所以内存块号占3个字节。而页表项连续存放,因此页号是隐含的,不占存储空间。因此每个页表项至少应为3个字节。
注:页表只是记录内存块号,而不是内存块的起始地址。
问题二:如何实现地址转换?
虽然进程的各个页面是离散存放的,但是页面内部是连续存放的。
如果要访问逻辑地址A,则:
- 先确定逻辑地址A对应的“页号”P
- 找到P页号在内存中的起始地址(需要查表)
- 确定逻辑地址A的“页内偏移量”W
逻辑地址A对应的物理地址 = P页面在内存中的起始地址 + 页内偏移量W
问题三:如何确定一个逻辑地址对应的页号、页内偏移量?
e.g.在某计算机系统中,页面大小是50B,某进程逻辑地址空间大小为200B,则逻辑地址110对应的页号、页内偏移量是多少?
页号 = 逻辑地址 / 页面长度(取整)
页内偏移量 = 逻辑地址 % 页面大小
页号 = 110 / 50 = 2
页内偏移量 = 110 % 50 = 10
逻辑地址可以拆分为(页号,页内偏移量)
通过页号查询页表,可知页面在内存中的起始地址
页面在内存中的起始地址 + 页内偏移量 = 实际的物理地址。
结论:如果每个页面大小为\(2^k\)B,用二进制数表示逻辑地址,则末尾K位即位业内偏移量,其余部分就是页号。
根据页号可以查询页表,而页表中记录的只是内存块号,而不是内存块的起始地址(J号内存块的起始地址 = J * 内存块大小)
基本地址变换机构
基本地址变换机构指在基本分页存储管理的过程中用于实现逻辑地址到物理地址转换的一组硬件机构。
- 基本地址转换机构可以借助进程的页表将逻辑地址转换为物理地址。
- 通常会在系统中设置一个页表寄存器(PTR),存放页表在内存中的起始地址F和页表长度M。进程未执行时,页表的起始地址和页表长度放在进程控制块PCB中,当进程被调度时,OS内核会把它们放到寄存器中。
设页面大小为L,逻辑地址A到物理地址E的变换过程如下(页面大小是2的整数幂):
- 计算页号P和页内偏移量W(如果用十进制数手算,则P = A / L, W = A % L;但是在计算机实际运行时,逻辑地址结构是固定不变的,因此计算机硬件可以更快地得到二进制表示的页号、页内偏移量)
- 比较页号P和页表长度M,若P >= M,则产生越界中断,否则继续执行。(注意,页号是从0开始的,而页表长度至少是1,因此P = M时也会越界)
- 页表中页号P对应的页表项地址 = 页表起始地址F + 页号P * 页表项长度,取出该页表项内容b, 即位内存块号。()注意区分页表项长度、页表长度、页面大小的区别。页表长度指的是这个页表中总共有几个页表项,即总共有几个页;页表项长度指的是每个页表项占多大的存储空间;页面大小指的是一个页面占多大的存储空间。
- 计算E = b * L + W,用得到的物理地址E去访存。(如果内存块号、页面偏移量使用二进制表示的,那么直接把二者拼起来就是最终的物理地址了)
页式管理地址是一维的。即,只要给出一个逻辑地址,系统就可以自动地算出页号、页内偏移量两个部分,并不需要显示地告诉系统这个逻辑地址中,页内偏移量占多少位。
对页表项大小的进一步讨论:
具有快表的地址变换机构
- 什么是快表TLB?
快表,又称联想寄存器(TLB),是一种访问速度比内存块很多的高速缓存(TLB不是内存),用来存放最近访问的页表项的副本,可以加速地址变换的速度。与此对应,内存中的页表常称为慢表。
- 能否把整个页表都放到TLB中?
不能,因为高速缓存的容量小,价格贵。
- 引入TLB后,地址变换过程:
- CPU给出逻辑地址,由某个硬件算得页号、页内偏移量,将页号与快表中的所有页号进行比较。
- 如果找到匹配的页号,说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若该快表命中,则访问某个逻辑地址仅需要一次访问即可。
- 如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表未命中,则访问某个逻辑地址需要两次访存(注意:在找到页表项后,应同时将其存入快表,以便后面可能的再次访问。若快表已满,则必须按照一定的算法对旧的页表项进行替换)
- 由于查询快表的速度比查询页表的速度快很多,因此只要快表命中,就可以节省很多时间。因为局部性原理,一般来说快表的命中率可以达到90%以上。
- 时间局部性:如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问。(因为程序中存在大量的循环)
- 空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很可能被访问。(因为很多数据在内存中都是连续存放的)
两级页表
- 单级页表存在两个问题:
- 问题一:页表必须连续存放,因此当页表很大时,需要占用很多个连续的页框。
- 问题二:没有必要让整个页表常驻内存,因为进程在一段时间内可能需要访问某几个特定的页面。
- 问题一解决方法:
可将页表进行分组,使每个内存块刚好可放入一个分组。另外,要为离散分配的页表再建立一张页表,成为页目录表或外层页表或顶层页表。
- 两级页表的原理、地址结构:
例:32位地址空间,页表项大小为4B,页面大小为4KB,可知页内地址占12位。所以页号有20位,页表项最多有\(2^{20}\)个。每个页面可以存放4K/4=1K=1024个页表项。
所以把每1024个页表项分为一组,放入一个内存块中。并为其建立页目录表。对于4B的页表项。低12位是页内偏移量。12~21位是二级目录号,高10位是以及页号。
- 如何实现地址变换:
将逻辑地址拆分为一级页号、二级页号、页内偏移量三个部分。
在页目录表中根据一级页号找到二级页表的存放地址。这个地址 + 二级页号即可找到想要访问的内存所在的页的页号。这个页号+页内偏移量即可得到物理地址。
- 问题二的解决方法:
可以在需要访问页面时才把页面调入内存。可以在页表项中增加一个标志位,用于表示该页面是否已经调入内存。
若想访问的页面不在内存中,则产生缺页中断(内中断),然后将目标页面从外存调入内存。
注:采用多级页表时,各级页表的大小不能超过一个页面
两级页表的访存次数(三次):
第一次访存:访问内存中的页目录表
第二次访存:访问内存中的二级页表
第三次访存:访问目标内存单元
即:在没用TLB的情况下,N级页表的访存次数是N+1次。
基本分段存储管理
与“分页”最大的区别就是——离散分配时所分配地址空间的基本单位不同。
分段
进程的地址空间会按照程序自身的逻辑关系划分为若干个段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址。
OS在为进程分配内存空间时以段为单位,每个段在内存中占据连续空间,但各段之间可以不相邻。
由于段是按照程序逻辑功能模块划分的,用户编程会更方便,程序的可读性更高。
编译程序会把段名转化为段号。
分段系统的逻辑地址结构由段号和段内地址所组成。
段号的位数决定了每个进程最多可以分多少个段。
段内地址位数决定了每个段的最大长度是多少。
段表
程序分为多个段,各段离散地装入内存,为了保证程序能正常运行,就必须能从物理内存中找到个各逻辑段的存放位置。为此,需为每个进程建立一张段映射表,简称“段表”。
- 每个段对应一个段表项,其中记录了该段在内存中的起始位置(又称“基址”)和段的长度。
- 各个段表项的长度是相同的。段号可以隐含,不占存储空间。段表中包括基址和段长两个部分。
地址变换
程序经过编译后,形成等价的机器指令。
- 根据逻辑地址得到段号、段内地址。
- 判断段号是否越界。若越界则产生越界中断,否则继续执行。
- 查询段表,找到对应的段表项。
- 检查段内地址是否超过段长,超过则产生越界中断,否则继续执行。
- 段基址+段内地址,计算得到物理地址。
- 访问目标内存单元。
分段分页管理的对比
- 页是信息的物理单位。分页的主要目的是为了离散分配,提高内存利用率。分页仅仅是系统管理上的西药,完全是系统行为,对用户是不可见的。
- 段时信息的逻辑单位。分段的主要目的时更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户时可见的,用户编程时需要显式地给出段名。
- 页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序。
- 分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址。
- 分段的用户进程地址空间是二维的,程序员在表标识一个地址时,既要给出段名,也要给段内地址。
- 分段比分页更容易实现信息的共享和保护。
- 不能被修改的代码称为纯代码或可重入代码(不属于临界资源),这样的代码是可以共享的。可修改的代码是不能共享的(比如,有一个代码段中有很多变量,各进程并发地同时访问可能造成数据的不一致)。分页管理可能会把一段纯代码划分到不同页中,很难实现共享。
- 访问一个逻辑地址需要几次访存?
分页(单级页表):两次。
分段:两次。
段页式管理方式
分页、分段管理中最大的优缺点
优点缺点分页管理内存空间利用率高,不会产生外部碎片,只会有少量内部碎片不方便按照逻辑模块实现信息的共享和保护分段管理很方便按照逻辑模块实现信息的共享和保护如果段长过大,为其分配很大的连续空间会很不方便。另外,段式管理会产生外部碎片段页式管理
将进程按照逻辑模块分段,再将各段分页。再将内存空间分为大小相同的内存块/页框/页帧/物理块。
进程将各页面放到内存块中。
段页式管理的逻辑地址结构:
段号、页号、页内偏移量。其中页号和页内偏移量共同构成了段式管理中的段内地址字段。
段号位数决定了每个进程最多可分几个段。
页号位数决定了每个段最大有几页。
页内偏移量决定了页面大小、内存块大小是多少。
分段对用户可见,分页对用户不可见。用户在编程时只需要显式给出段名。其余部分由OS完成。所以段页式管理的地址结构是二维的。
段表、页表
每个段对应一个段表项,每个段表项由段号、页表长度、页表存放块号(页表起始地址)组成。每个段表项长度相等,段号是隐含的。
段页式管理的页表和页式管理的页表差不多。
地址转换
- 根据逻辑地址得到段号、页号、页内偏移量。
- 判断段号是否越界。越界则产生越界中断,否则继续执行。
- 查询段表,找到对应的段表项。
- 检查页号是否越界,越界则产生越界中断,否则继续执行。
- 根据页表存放块号、页号查询页表,找到对应页表项。
- 根据内存块号、页内偏移量得到最终的物理地址。
- 访问目标内存单元。
共进行了3次访存。也可引入快表机制,用段号和页号作为查询快表的关键字。若快表命中则仅需一次访存。
3.3 内存空间的扩充
内存空间扩充主要包括:
覆盖技术
早期的计算机内存很小,经常会出现内存大小不够的情况。
后来人们引入了覆盖技术,用来解决“程序大小超过物理内存总和”的问题。
覆盖技术的思想:将程序分为多个段(多个模块)。常用的段常驻内存,不常用的段在需要时调入内存。
内存分为一个“固定区”和若干个“覆盖区”。
需要常驻内存的段放在“固定区”中,调入后就不再调出(除非运行结束)。
不常用的段放在“覆盖区”,需要用的时候调入内存,用不到的时候调出内存。
举例:
假如程序调用的结构如图所示:
A函数可以调用B和C。B可以调用D,C可以调用E和F。由于程序只能在同一时刻调用一个函数,所以可以将A放入程序的固定区,B、C不会同时使用,所以可为B、C开辟一块覆盖区,大小已二者中较大的程序大小为准。同理D、E、F也不会同时被使用,所以也可以为它们开辟一块覆盖区。
但是,该项技术中必须由程序员声明覆盖结构,OS完成自动覆盖。
缺点:对用户不透明。增加了用户编程负担。
覆盖技术只用于早期OS,现在已成为历史。
交换技术
交换(对换)技术的设计思想:内存空间紧张时,系统将内存中某些进程暂时换出外存,把外存中某些已具备运行条件的进程换入内存(进程在内存与磁盘间动态调度)
对应到调度中的中级调度(内存调度):决定将哪个处于挂起状态的进程重新调入内存。
暂时换出外存等待的进程状态称为挂起状态(挂起态:suspend)
挂起态又可以进一步细分为就绪挂起、阻塞挂起两种状态:
思考问题:
- 应该在外存(磁盘)的什么位置保存被换出的进程?
具有对换功能的OS中,通常把磁盘空间分为文件区和对换区两部分。文件区主要用于存放文件,主要追求存储空间的利用率,因此对文件区空间的管理采用离散分配方式;对换区空间只占磁盘空间的小部分,被换出的进程数据就存放在对换区。由于对换的速度直接影响到系统的整体速度,因此对换区空间的管理主要追求换入换出速度。因此通常对换区采用连续分配方式。总之,对换区IO速度比文件区更快。
- 什么时候应该交换?
交换通常在许多进程运行且内存吃紧时进行,而系统符合降低就暂停,例如:在发现许多进程运行时进程发生缺页,就说明内存紧张,此时可以换出一些进程;如果缺页率明显下降,就可以暂停换出。
- 应该换出哪些进程?
可优先换出阻塞进程;换出优先级低的进程;为了防止优先级低的进程在被调入内存后很快又被换出,有的系统还会考虑进程在内存的驻留时间。
注:进程控制块PCB会常驻内存,不会被换出外存
虚拟存储技术
传统存储管理方式的特征、缺点
传统存储管理:
- 连续分配
- 非连续分配
- 基本分页存储管理
- 基本分段存储管理
- 基本段页式存储管理
这些传统存储管理的特征:
- 一次性:作业必须一次性全部装入内存后才能开始运行。
这会造成两个问题:
- 作业很大时,不能全部装入内存。导致大作业无法运行。
- 当大量作业要求运行时,由于内存无法容纳所有作业,因此只能有少量作业能运行,导致多道程序并发度下降。
- 驻留性:一旦作业被装入内存,就会一直驻留在内存中,直至作业运行结束。事实上,在一个时间段内,只需要访问作业 的一小部分数据即可正常运行,这就导致了内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源。
虚拟内存的定义和特征
基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存,暂时用不到的部分留在外存,就可以让程序开始执行。
在程序执行过程中,当所访问的信息不在内存时,由OS负责将所需信息从外存调入内存,然后继续执行程序。
若内存空间不够,由OS负责将内存中暂时用不到的信息换出到外存。
在OS的管理下,在用户看来似乎有一个比实际内存大得多的内存,这就是虚拟内存。
OS的虚拟性的一个体现,实际的物理内存大小没有变,只是在逻辑上进行了扩充。
虚拟内存有以下三个主要特征:
- 多次性:无需在作业运行时一次性全部装入内存,而是允许被分成多次调入内存。
- 对换性: 在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出。
- 虚拟性: 从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量。
如何实现虚拟内存技术?
虚拟内存技术,允许一个作业分多次调入内存。如果采用连续分配方式,会不方便实现。因此,虚拟内存的实现需要建立在离散分配的内存管理方式的基础上。
虚拟内存的实现:
- 请求分页存储管理
- 请求分段存储管理
- 请求段页式存储管理
OS要提供请求调页功能和页面置换功能。
请求分页存储管理
请求分页存储管理与基本分页存储管理的主要区别:
在程序执行过程中,当所访问的信息不在内存时,由OS负责将所需信息从外存调入内存,然后继续执行程序。
若内存空间不够,由OS负责将内存中暂时用不到的信息换出到外存。
页表机制
与基本分页存储管理相比,请求分页存储管理中,为了实现“请求调页”,OS需要知道每个页面是否已经调入内存;如果还没调入,那么也需要知道该页面在外存中的存放位置。
要实现“页面置换”,OS需要通过某些指标来决定到底换出哪个页面;有的页面没有被修改过,就不用再浪费时间写回外存。有的页面修改过,就需要将外存中的旧数据覆盖。因此,OS也需要记录各个页面是否被修改的信息。
请求分页存储管理的页表:
缺页中断机构
在请求分页存储管理系统中,每当要访问的页面不在内存中,便产生一个缺页中断,然后由OS的缺页中断处理程序处理中断。
此时缺页的进程阻塞,放入阻塞队列,调页完成后再将其唤醒,放回就绪队列。
如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应页表项。
如果内存中没有空闲块,则由页面置换算法选择一个页面淘汰,若该页面在内存期间被修改过,则要将其写回外存。未修改过的页面不用写回外存。
缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生,因此属于内中断。
一条指令在执行期间,可能产生多次缺页中断。
地址变换机构
请求分页存储管理的地址变换机构和基本分页存储管理相比,有一些新增步骤:
- 新增步骤1:请求调页(查到页表项时进行判断)
- 新增步骤2:页面置换(需要调入页面,但没有空闲内存块时进行)
- 需要修改请求页表中新增的表项
快表中有的页面一定是在内存中的。若某个页面被换出外存,则快表中的相应表项也要删除,否则可能访问错误的页面。
页面置换算法
最佳置换算法(OPT)
每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。
但是这种方式存在于理想状态下,现实中没有这种方法。
先进先出置换算法(FIFO)
每次选择淘汰的页面是最早进入内存的页面。
实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择对头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块。
例:
分配三个内存块,缺页9次。
但是如果分配4个内存块,缺页次数会变成10次。这就是FIFO算法的Belady异常。
Belady异常:当为进程分配的物理块数增大时,缺页次数不减反增的异常现象。
只有FIFO算法会产生Belady异常。另外,FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能最经常被访问。因此这种算法的性能差。
最近最久未使用置换算法(LRU)
每次淘汰的页面是最近最久未使用的页面。
实现方法:赋予每个页面对应的页表项中,用访问字段记录该页面自上次被访问以来经历的时间t。
该算法的性能好,最接近OPT,但是实现需要专门的硬件支持,虽然算法性能好,但是实现困难,开销大。
时钟置换算法(CLOCK)
时钟置换算法是一种性能和开销较均衡的算法。
实现方式:为每一个页面设置一个访问位,再将内存中的页面都通过链接指针链接成一个循环队列。当某页被访问时,其访问位置1.当需要淘汰一个页面时,只需要检查页的访问位。如果是0,就选择该页换出;如果是1,则将它置0,暂时不换出,继续检查下一个页面,托第一轮扫描中所有页面都是1,则将这些页面的访问位依次置0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此时钟置换算法选择一个淘汰页面最多会经过两轮扫描。)
改进型的时钟置换算法
时钟置换算法仅考虑到一个页面最近是否被访问过。事实上,如果被淘汰页面没有被修改过,就不需要执行IO操作写回外存。只有被淘汰的页面被修改过,才需要写回外存。
因此,处理考虑一个页面最近有没有被访问过之外,OS还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有被修改过的页面,避免IO操作。这就是改进型的时钟置换算法的思想。
修改为=0,表示页面没有被修改过;修改为=1,表示页面被修改过。
为方便讨论,用(访问位,修改位)的形式表示各页面状态。
算法规则:
将所有可能被置换的页面排成一个循环队列。
第一轮:从当前位置开始扫描到第一个(0,0)的帧用于替换。本轮扫描不修改任何标志位。第一优先级:最近没访问且没修改的页面。
第二轮:若第一轮扫描失败,则重新扫描,查找第一个(0,1)的帧用于替换,本轮将所有扫描过的帧访问位设为0.第二优先级:最近没访问,但是修改过的页面。
第三轮:若第二轮扫描失败,则重新扫描,查找第一个(0,0)的帧用于替换,本轮不修改任何标志位。第三优先级:最近访问过,但是没修改的页面。
第四轮:若第三轮失败,则重新扫描,查找第一个(0,1)的帧用于替换。第四优先级:最近访问过且修改过的页面。
由于第二轮已将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有一个帧被选中,因此改进型CLOCK算法选择一个淘汰页最多会进行四轮扫描。
页面分配策略
驻留集
驻留集:指请求分页存储管理中给进程分配的物理块的集合。
在采用了虚拟存储技术的系统中,驻留集大小一般小于进程的总大小。
驻留集太小了,会导致缺页频繁,系统要花大量的时间来处理缺页,实际用于进程的时间很少。
驻留集太大,会导致多道程序并发度下降,资源利用率低,所以应该选择一个合适的驻留集大小。
页面分配、置换策略
为进程分配驻留集的方式有固定分配和可变分配:
- 固定分配:OS为每个进程分配一组固定数目的物理块,在进程运行期间不再改变。即,驻留集大小不变。
- 可变分配:先为每个进程分配一定数目的物理块,在进程运行期间,可根据情况做适当的增加或减少。即,驻留集大小可变。
页面的置换策略:
- 局部置换:发生缺页时只能选进程自己的物理块进行置换。
- 全局置换:可以将OS保留的空闲物理块分配给缺页进程,也可以将别的进程持有的物理块置换到外存,再分配给缺页进程。
将页面的分配和置换策略进行结合可以得到三种方式:
- 固定分配、局部置换
- 可变分配、局部置换
- 可变分配、全局置换
全局置换意味着进程拥有的物理块数必定会改变,所以没有固定分配、全局置换。
固定分配局部置换:系统为每个进程分配一定数量的物理块,在整个运行期问都不改变。若进程在运行中发生缺页,则只能从该进程在内存中的页面中选出一页换出,然后再调入需要的页面。这种策略的缺点是:很难在刚开始就确定应为每个进程分配多少个物理块才算合理。(采用这种策略的系统可以根据进程大小、优先级、或是根据程序员给出的参数来确定为一个进程分配的内存块数)
可变分配全局置换:刚开始会为每个进程分配一定数量的物理块。操作系统会保持一个空闲物理块队列。当某进程发生缺页时,从空闲物理块中取出一块分配给该进程:若已无空闲物理块,则可选择一个未锁定的页面换出外存,再将该物理块分配给缺页的进程。采用这种策略时,只要某进程发生缺页都将获得新的物理块,仅当空闲物理块用完时,系统才选择一个未锁定的页面调出。被选择调出的页可能是系统中任何一个进程中的页,因此这个被选中的进程拥有的物理块会减少,缺页率会增加。
可变分配局部置换:刚开始会为每个进程分配一定数量的物理块。当某进程发生缺页时,只允许从该进程自己的物理块中选出一个进行换出外存。如果进程在运行中频繁地缺页,系统会为该进程多分配几个物理块,真至该进程缺页率趋势适当程度:反之,如果进程在运行中缺页率特别低,则可适当减少分配给该进程的物理块。
调入页面的时机
- 预调页策略:根据局部性原理,一次调入若干个相邻的页面可能比一次调入一个页面更高效。但如果提前调入的页面中大多数都没被访问过,则又是低效的。因此可以预测不久之后可能访问到的页面,将它们预先调入内存,但目前预测成功率只有50%左右。故这种策略主要用于进程的首次调入由程序员指出应该先调入哪些部分。(运行前调入)
- 请求调页策略:进程在运行期间发现缺页时才将所缺页面调入内存。由这种策略调入的页面一定会被访问到的,但由于每次只能调入一页,而每次调页都需要磁盘IO操作,因此IO开销较大。
从何处调页
磁盘分为对换区和文件区。
对换区的读写速度更快,采用连续分配方式。
文件区的读写速度更慢,采用离散分配方式。
- 系统拥有足够的对换区空间:页面的调入调出都在内存与对换区之间进行,这样可以保证页面的调入、调出速度很快。在进程运行前,需将进程相关的数据从文件区复制到对换区。
- 系统缺少足够的对换区空问:凡是不会被修改的数据都直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。对于可能被修改的部分,换出时需写回磁盘对换区,下次需要时再从对换区调入。
- UNIX方式:运行之前进程有关的数据全部放在文件区,故未使用过的页面,都可从文件区调入。我若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入。
抖动(颠簸)现象
刚刚换出的页面马上又要换入内存,刚刚换入的页面马上又要换出外存,这种频繁的页面调度行为称为抖动,或颇簸。产生抖动的主要原因是进程频繁访问的页面数目高于可用的物理块数(分配给进程的物理块不够)
为进程分配的物理块太少,会使进程发生抖动现象。为进程分配的物理块太多,又会降低系统整体的并发度,降低某些资源的利用率。
为了研究为应该为每个进程分配多少个物理块,Denning 提出了进程“工作集”的概念。
工作集
工作集:指在某段时间间隔里,进程实际访问页面的计划。
OS会根据“窗口尺寸”来算出工作集。
例如当窗口尺寸为4时:
工作集大小可能小于窗口尺寸,实际应用中,OS可以统计进程的工作集大小,根据工作集大小给进程分配若干内存块。
一般来说,驻留集的大小不能小于工作集的大小,否则进程运行过程中会频繁缺页。
拓展:基于局部性原理可知,进程在一段时间内访问的页面与不久之后会访问的页面是有相关性的。因此,可以根据进程近期访问的页面集合(工作集)来设计一种页面置换算法——选择一个不在工作集中的页面进行淘汰。
内存映射文件
内存映射文件
内存映射文件:OS向上层程序员提供的功能(系统调用)。
可以方便程序员访问文件数据。
方便多个进程共享同一个文件。
传统的文件访问方式
open系统调用:打开文件
seek系统调用:将读写指针移到某个位置。
read系统调用:从读写指针所知位置读入若干数据(从磁盘读入内存)
write系统调用:将内存中的指定数据,写回磁盘(根据读写指针确定要写回什么位置)
内存映射文件的原理和作用
open系统调用:打开文件
mmap系统调用:将文件映射到进程的虚拟地址空间。
- 以访问内存的方式访问文件数据。
- 文件数据的读入、写出由OS自动完成。
- 进程关闭文件时,OS自动将文件被修改的数据写回磁盘。
内存映射文件的作用:
- 方便程序员访问文件数据。
- 方便多个进程共享同一个文件:
多个进程可以映射同一个文件,实现共享。
在物理内存中,一个文件对应同一份数据,当一个进程修改文件数据时,另一个进程可以立马“看到”。
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |