当前位置：首页 > news >正文

自学自用 = B站（操作系统_清华大学(向勇、陈渝)）1

news 来源：原创 2024/5/10 7:36:06

视频地址

https://www.bilibili.com/video/av6538245

介绍

本篇博客，旨在记录视频学习的要点，所以格式随意，方便本人日后自考和回忆，有兴趣的朋友可以评论讨论。

原文地址https://www.cnblogs.com/clockq/p/10318639.html

一、操作系统（OS）描述

1.1 什么是操作系统

OS = Kernel + Shell，是介于底层硬件和应用软件之间的一层软件架构。

Shell 主要提供与Users的交互工作（Windows的GUI和Linux的Terminal）
Kernel 主要负责管理计算机的硬件资源
- CPU调度器
- 内存管理 = 物理内存 + 虚拟内存
- 文件系统管理
- 中断和设备驱动

Kernel 特征

并发（也并行）
共享
虚拟化（cpu,内存 => 进程, 硬盘 => 文件）
异步

1.2 操作系统的发展历史

纸带+人工操作系统
多道操作系统
分时操作系统（1/1000 s一次分时）
单用户操作系统
分布式操作系统

计算机的快速发展与各个底层硬件的快速发展是分不开的（CPU的计算能力，IO的读写能力和网络带宽）

二、OS的启动、中断、异常和系统调用

2.1 计算机系统启动流程

BIOS = Basic Input/Output System

graph LR
A[BIOS]-->B[Bootloader]
B --> C[OS]

2.1.1 BIOS启动流程

POST = Power-On Self-Test

graph LR
A[POST]-->B[启动顺序]
B-->C[主引导记录]

2.1.2 主引导记录

主引导记录（MBR）= Master Boot Record

graph LR
A[MBR]-->B[分区表]
B-->C[活动分区]

2.1.3 硬盘启动

硬盘启动分为三种情况：

卷引导记录（Win）
扩展分区和逻辑分区（不常见）
启动管理器（Linux的Grub）

卷引导记录（VBR）= Volume boot record

graph LR
A[活动分区]-->B[VBR]
B-->C[OS]

启动管理器模式：

graph LR
A[MBR]-->B[Grub]

2.1.4 操作系统启动

graph LR
A[Load /boot/kernel]-->B[run /sbin/init]

2.2 中断、异常、系统调用

中断：不同硬件设备的计时器或网络中断（外设发起）（异步）
异常：非法指令或其他失败的处理状态（应用程序发起）（同步）
系统调用：应用程序主动向操作系统发出的服务请求（应用程序发起）（同步或异步）

2.2.1 中断处理流程

graph LR
A[外设设置中断标记] --> B[保存现场]
B --> C[中断程序处理]
C --> D[清除中断标记]
D --> E[恢复现场]

2.2.2 异常处理流程

graph LR
A[保存现场] --> B[异常处理]
B --> C[杀死异常程序]
B --> D[重启发生异常的程序]
C --> E[恢复现场]
D --> E[恢复现场]

2.2.3 系统调用处理流程

应用程序无法直接操作硬件，需要OS提供的服务接口来间接调用，例：
C语言的printf()函数，执行时会调用OS的write()接口

三、内存管理

3.1 计算机体系结构

计算机基本硬件结构 = CPU + 内存 + 外设

CPU = 运算器 + 寄存器 + 控制器 + Cache（L1 + L2）+ 存储管理单元（MMU）

3.2 内存分层体系

越是靠近CPU的内存，读取速度越快，由近及远依次是：
CPU寄存器 => Cache => 主存 => 虚拟内存

操作系统在内存管理上要完成的任务：

抽象
- 逻辑地址空间 != 实际地址空间
保护（隔离）
- 同时运行多个应用，每个应用有一片独立的地址空间
共享
- 进程间可以使用共享内存进行交互和数据的传递
虚拟
- 内存不足可以利用硬盘获得更多的地址空间

3.3 地址空间和地址生成

逻辑地址空间：一个运行程序所拥有的内存范围。该地址是相对于当前进程数据段的地址，不和绝对物理地址相干。一个逻辑地址，是由一个段标识符加上一个指定段内相对地址的偏移量，表示为 [段标识符：段内偏移量]。
线性地址：是逻辑地址到物理地址变换之间的中间层。
物理地址空间：硬件支持的地址空间。

逻辑地址------（段机制）------->线性地址------（页机制）------->物理地址。

既然逻辑地址最终要转换为物理地址，那么为何还需要逻辑地址呢？

逻辑地址提供了权限检查功能：比如我们设置逻辑地址和物理地址之间的映射关系时，可以设置某块地址是只读的，只写的，只有CPU处于管理模式时才能访问等。这些功能可以让系统的内核，用户程序的运行空间相互独立：用户程序即使出错，也无法破坏内核；用户程序A崩溃了，也无法影响到用户程序B。

3.3.1 逻辑地址生成过程

graph LR
A[C程序.c] --> |编译| B[编译程序.s]
B --> |汇编| C[汇编程序.o]
C --> |链接| D[执行程序.exe]
D --> |加载| E[应有载入内存]

各个步骤的作用：

编译：C程序代码中，每个指针（变量名、函数名）就代表着一个逻辑地址，但该地址对硬件而言是不友好的，因此先经过编译，将代码转为语法树，通过符号来描述地址。
汇编：经过汇编，将上一步的语法树转为机器语言，使用一段相对连续的，从零开始的地址描述程序。更加接近底层硬件语言。
链接：一个大的程序，可能通过多个.o文件组成，所以通过链接，将多个从零开始描述的.o文件组合到一起，并且使之不发生内存冲突。由此组成成为一个.exe应用程序，但此时该程序还存放在硬盘上。
加载：将上一步中，硬盘上的应用程序，通过一定的偏移量加载到内存中。此时的地址依然是逻辑地址。

具体流程如下图：

3.3.2 物理地址生成过程

graph LR
A[CPU加载逻辑地址内容] --> B{查看MMU中是否映射了物理地址}
B --> |有| L[获得物理地址]
B --> |没有| C{到主存中查找是否有物理地址映射表}
C --> |有| L
L--> D[读取物理地址的内容]

3.4 连续内存分配

3.4.1 内存碎片

外部碎片：在分配单元间未使用的内存
内部碎片：在分配单元中未使用的内存

3.4.2 分区的动态分配

什么时候分配？

应用程序启动，运行栈加载到内存的时候，分配一块连续的内存空间
应用程序加载数据时

内存分配算法

1. 首次适配

如要分配N byte，在内存中查找第一个可用（>=N）的空闲块，以满足最快分配。

需求：1. 按照地址排序； 2. 分配需要寻找合适的空闲块； 3. 内存回收后，要将相邻块进行合并。
优势：实现简单；易于产生更大数据块。
劣势：会产生外部碎片；不确定性。

2. 最优适配

如要分配N byte，在内存中查找第一个可用（>=N）的且最小的空闲块，以满足最快分配。更大的利用小空间。

需求：1. 按照剩余空间大小排序； 2. 分配需要寻找最合适的空闲块； 3. 内存回收后，要将相邻块进行合并。
优势：实现简单；适合大量分配小内存。
劣势：重分配慢；易产生大量微小的外部碎片。

3. 最差适配

如要分配N byte，在内存中查找第一个可用（>=N）的且最大的空闲块，以满足最快分配。避免出现大量微小空间。

需求：1. 按照剩余空间大小排序（倒序排列）； 2. 分配需要寻找最合适的空闲块； 3. 内存回收后，要将相邻块进行合并。
优势：适合大量分配中等大小内存。
劣势：重分配慢；易产生外部碎片；会破坏大的空闲块，使更大的应用无法分配。

3.4.3 压缩式碎片整理

将非运行时应用占用的内存移动到相邻的一处内存，以减少应用间的外部碎片

3.4.4 交换式碎片整理

利用虚拟内存，将非运行时应用占用的内存移动到虚拟内存，以使的运行时应用有更大的空闲空间使用。

3.5 非连续内存分配

优点：

内存分配在物理地址空间是非连续的
可以更好，最大化的利用物理内存和管理
允许共享代码和数据（贡献库等、、）
支持动态加载和动态链接

缺点：

内存管理本身的一些维护开销
硬件的配合和支持（分段和分页）

3.5.1 分段（Segmentation）

为了更好的分离和管理。

使用分断管理机制后，在逻辑地址层面，地址看上去是连续的，而在物理地址层面，可以将不同的代码段分离出来管理，从而实现共享，管理，权限保护等。

分断寻址方案

3.5.2 分页（Paging）

先划分物理内存至固定大小的帧（Frame），用二元组(f,o)表示帧号和帧内偏移；划分逻辑地址空间至相同大小的页（Page），用二元组(p,o)表示页号和页内偏移。帧更像是相框，里面啥也没有，放了照片（逻辑页面）才有意义。

物理寻址方式例题：

16-bit的地址空间，512byte大小的页帧大小，则物理地址为（3，6）的实际地址是多少？
解：

512 = 2^9 // 页帧需要使用9bit表示
16-9 = 7  // 页号需要使用7bit表示
所以实际物理地址的二进制表示为 0000011 000000110
转为十进制为1542，也可以用 3 * 512 + 6 = 1542

3.5.3 页表的缺点

每个运行程序都有一个页表，属于程序的运行状态，会动态的发生改变。

缺点：

通过分页实现的内存映射，需要进行两次查询（页表查询，物理地址访问）
页表会占用额外的内存，假如64bit机器的每页大小为1024byte，则最大会有2^54个页号
每个应用都有一份页表，对于问题2，就更加麻烦了

上述问题，可以使用缓存和间接访问两种方式解决。

3.5.4 页表的优化

TLB（Translation Look-aside Buffer）

TLB是一块特殊的快表，可以更快的获得物理帧号，且TLB的miss几率可以忽略不计。
页表有个特殊的概念叫驻留位（上图标红的地方），驻留位为0的表示物理帧号不存在，也就是本页映射无效。

多级页表

反向页表

页寄存器方案：

页表反向设计，页表索引以帧号为index，因为物理内存是固定的，而逻辑空间是无限增长的，因此大大减少了页表大小。

优：

占用空间小
转换表只与物理内存有关，与逻辑内存无关

弊：

信息对调，无法根据页号找到帧号

关联内存方案：。。。

Hash方案：。。。

四、虚拟内存管理

4.1 起因

希望有个很大、很快、很便宜的存储器，最好掉电数据不丢失。因此，贪心的人类想到了利用硬盘。

早期的计算机由于硬件限制，经常会出现内存不够的情况，当时主要通过覆盖技术(只把需要的指令和数据存在内存中)和交换技术(把暂时不用的指令和数据存到swap中)。

4.2 覆盖技术

产生于20世纪80年代，一般用于多道程序系统的DOS操作系统。当时计算机的内存容量大多只有640kb。

目的：

在较小的内存容量下运行较大的应用程序，与分区存储管理配合使用。

实现：

如下图所示，A程序为常驻应用，但BC程序不会相互调用，DEF程序也不会相互调用，所以就可以让之后调用程序内存覆盖之前调用的内存空间。（以模块为粒度覆盖）

缺点：

由程序员来考虑把一个大程序，划分为若干小的功能模块，并确定各个模块之间的依赖，覆盖关系。增加了系统复杂性和编程难度。
覆盖模块从外存装入内存，是典型的时间换空间。

4.3 交换技术

一般用于Unix操作系统。

目的：

让正在运行或需要运行的程序可以获得更多内存资源。

实现：

将暂时没有运行的程序移到外部swap，从而获得更多的物理内存。（以程序为粒度交换）

注意：

何时进行换入（swap in）好换出（swap out）操作？尽量少，内存不够再换出
交换分区（swap）的空间要设置多大？必须足够大，可以存放所用用户进程的内存拷贝。
内存换入时的地址重定向问题？要采用动态地址映射法。

4.4 虚存技术

在有限容量的内存中，以更小的页粒度为单位装入更多更大的程序（对覆盖技术和交换技术的一次融合）。

目的：

像覆盖技术一样，不将应用全部载入内存，而是载入部分，以此来运行比物理内存大很多的应用程序。但不需要程序员维护。
像交换技术一样，能够实现应用在内存和外存之间的交换。但不以程序为粒度交换。

要求：

局部性原理：

指程序在执行过程的一个较短时间内，所执行的指令地址和指令操作数地址，分别局限在一小块区域。

时间局部性：一条指令的一次执行和下次执行，数据的一次访问和下次访问都集中在较短时间内；（类似缓存、预加载，增加命中率）
空间局部性：当前指令和临近的几条指令，当前访问数据和临近的数据都集中在一块较小的区域内；（减少swap次数，同上）

举例：对于一个二维数组[1024 * 1024], 对于横向打印和竖向打印，效率差异还是相当大的！

特征：

充分利用CPU寻址能力，获得更大的可用物理内存（主存+虚存）
部分交换
不连续性：逻辑地址也可以不连续

虚拟页式内存管理：

这种管理方式，是大多数虚拟存储设备的选择，即在页式存储的基础上，增加了请求调页和页面置换功能。

请求调页：应用程序装入内存时，不是一次性载入全部的页片到内存，而是用到哪个页片载入哪个帧。（局部加载）
页面置换：在应用运行过程中，如果发现需要的页片不在内存中，就会发生“断页中断请求”，系统处理这个中断，就会将虚拟内存中的帧加载到物理内存中。（延迟调用）

页表项结构

缺页中断处理过程

后备存储（Backing Store）

在何处保存未加载的帧？

能够简单的识别在二级存储器中的页
交换空间（磁盘或者文件）

后备存储可以有哪些？

一个虚拟地址空间的页：可以被映射到一个文件的某个位置
代码段：可以映射到可执行的二进制文件
动态共享程序段：映射到动态调用的库文件
其他段：映射到交换文件中

虚拟内存性能

有效存储访问时间（EAT）= Effective Memory Access Time

EAT = 访问时间 * 页表命中率 + 缺页处理时间 * 缺页几率

例子：

访问时间： 10ns
磁盘访问时间：5ms = 5 * 10^6 ns
page fault rate：p 
dirty page rate（页内容改变，同步到虚拟内存概率）：q

EAT = 10 * (1 - p) + 5 * 10^6 * p * (1 + q)

由上述例子可以看出，变量p对于整体EAT的影响最重要。

4.5 页面置换算法

缺页几率，是严重影响虚拟内存效率的一个因素，而缺页几率与页面置换算法息息相关。

功能：当缺页中断发生，需要加载新的帧页到内存，但当应用内存已满时，需要选择淘汰物理内存中的帧来给新的帧资源。

目标：尽可能的减少页面换进换出次数。
对于常驻内存（如操作系统或其他关键应用）添加锁定标志位，避免换出。

分类：分为局部页面置换和全局页面置换两大类

局部页面置换：
1. 最优页面置换算法（OPT）（最晚重用被淘汰）（理想状态，无法实现，可为依据）
2. 先进先出算法（FIFO）（存活久的被淘汰）（利用链表即可实现，最差情况下性能较差）
3. 最近最久未使用算法（LRU）（最久没用被淘汰）（链表、堆栈可实现，但开销较大）
4. 时钟页面置换算法（Clock）（利用FIFO优化的LRU）（环形链表选最老）
5. 二次机会法（？？）（Clock脏页版）（两条命的命中高，有了脏位换出少）
6. 最不常用算法（LFU）（有的最少被抛弃）（表中加个计数器）
全局页面置换：
1. 工作集页面置换算法（？？）（利用工作集的LRU）（无须缺页就淘汰，利用时刻来换出）
2. 缺页率页面置换算法（PFF）（动态改变常驻集的工作集算法）（根据缺页频率，淘汰多个页面）

4.5.1 最优页面置换算法（OPT）

基本思路：当一个缺页中断发生，需要进行页面置换时，对于当前内存中的每一个逻辑页面，计算它下一次被访问时还需等待的时间，从中选择等待时间最长的页面，作为置换页。

评价：该算法无法实现或者说很难实现，因为OS无法预知每个页面下次访问需要的等待时间，但该算法可以作为其他算法评定的依据。

例图：

4.5.2 先进先出算法（FIFO）

基本思路：对于当前内存中的每一个逻辑页面，计算它载入内存的时间，从中选择驻留时间最长的页面，作为置换页。

评价：利用链表实现，载入向链尾加，换出删除链表头即可。

例图：

4.5.3 最近最久未使用算法（LRU）

基本思路：选择最久未被使用的帧页，作为置换页。

评价：时间轴上与最优算法相反，符合局部性原理。在最近一段区间内，找到最久未使用的帧。对于记录各页面调用的先后顺序，开销较大，可以利用链表或堆栈实现。

例图：

4.5.4 时钟页面置换算法（Clock）

基本思路：与LRU相似，是FIFO的一种改进。是二者之间的一种平衡。实现是在页面中加入一个访问位,一个页面载入时，由硬件初始化为0（软件也可以），如果页面被访问，则相应页表项置为1。将各页表项组成一个环形链表，发生缺页中断时，指针循环判断环形链表，若判断的页表项为0，选为置换页，置换并访问新页后，新页表项置为1，指针下移；若判断的页表项为1，则改为0，指针下移。