当前位置: 首页 > news >正文

IO的模式

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

IO操作包括:对硬盘的读写、对socket的读写以及外设的读写。 

一个完整的IO读请求操作包括两个阶段:

  1)查看内核数据是否就绪;

  2)进行数据拷贝(内核(内核态)将数据拷贝到用户线程(用户态))。

阻塞与非阻塞

   当用户线程发起一个IO请求操作(以读请求操作为例),内核会去查看要读取的数据是否就绪,对于阻塞IO来说,如果数据没有就绪,则会一直在那等待,直到数据就绪。对于非阻塞IO来说,如果数据没有就绪,则会返回一个标志信息告知用户线程当前要读的数据没有就绪,当数据就绪之后,便将数据拷贝到用户线程,这样才完成了一个完整的IO读请求操作。

阻塞(blocking IO)和非阻塞(non-blocking IO)的区别:  就在于第一个阶段,如果数据没有就绪,在查看数据是否就绪的过程中是一直等待,还是直接返回一个标志信息

Java中传统的IO都是阻塞IO,比如通过socket来读数据,调用read()方法之后,如果数据没有就绪,当前线程就会一直阻塞在read方法调用那里,直到有数据才返回。

而如果是非阻塞IO的话,当数据没有就绪,read()方法返回一个标志信息,告知当前线程数据没有就绪,所以用户线程会一直轮询判定该返回标记等待最终的已就绪标志。

同步与非同步

同步IO和异步IO模型是针对用户线程和内核的交互来说的:

  对于同步IO:当用户发出IO请求操作之后,如果数据没有就绪,需要通过用户线程或内核不断地去轮询数据是否就绪,当数据就绪时,再将数据从内核拷贝到用户线程;

  而异步IO:只有IO请求操作的发出是由用户线程来进行的,IO操作的两个阶段都是由内核自动完成然后发送通知告知用户线程IO操作已经完成。也就是说在异步IO中不会对用户线程产生任何阻塞。 所以说异步IO必须要有操作系统的底层支持!

五种IO模型

在《Unix网络编程》一书中提到了五种IO模型,分别是:阻塞IO、非阻塞IO、多路复用IO、信号驱动IO以及异步IO。

d7137ba3ccdaeeba9fc68ef5c83a68fdacb.jpg

non-blocking IO:虽然进程大部分时间都不会被block,但是它仍然要求进程去主动的check,并且当数据准备完成以后,也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。

asynchronous IO:它就像是用户进程将整个IO操作交给了他人(kernel)完成,然后他人做完后发信号通知。在此期间,用户进程不需要去检查IO操作的状态,也不需要主动的去拷贝数据。

IO multiplexing : 阻塞的用户发起IO

 

阻塞IO模型

      最传统的一种IO模型,即在读写数据过程中会发生阻塞现象。

      用户线程发出IO请求之后,内核会去查看数据是否就绪,如果没有就绪就会一直等待,而用户线程就会处于阻塞状态,用户线程交出CPU。当数据就绪之后,内核会将数据拷贝到用户线程,并返回结果给用户线程,用户线程才解除block状态。

非阻塞IO模型

5c5610f2d2d53b4a3cbd6301dd68e438be9.jpg

当用户线程发起一个read操作后,并不需要等待,而是马上就得到了一个结果。如果结果是一个error时,它就知道数据还没有准备好,于是它可以再次发送read操作。一旦内核中的数据准备好了,并且又再次收到了用户线程的请求,那么它马上就将数据拷贝到了用户线程,然后返回。所以事实上,在非阻塞IO模型中,用户线程需要不断地询问内核数据是否就绪,也就说非阻塞IO不会交出CPU,而会一直占用CPU(弊端:可能CPU占用率会非常高) (有些像java的自旋锁)

多路复用IO模型
66bb86d9b45098af74b072df9161aa446dc.jpg

Java NIO实际上就是多路复用IO。
      在多路复用IO模型中,会有一个线程不断去轮询多个socket的状态,只有当socket真正有读写事件时,才真正调用实际的IO读写操作,如果没有事件,则一直阻塞在那里,因此这种方式会导致用户线程(接收socket读写事件的线程)的阻塞。
优势:只需要使用一个线程就可以管理多个socket,系统不需要建立新的进程或者线程,也不必维护这些线程和进程,并且只在真正有socket读写事件进行时,才会使用IO资源,所以大大减少了资源占用
多路复用IO比非阻塞IO模型的效率高原因之一是: 在非阻塞IO中,不断地询问socket状态时通过用户线程去进行的;而在多路复用IO中,轮询每个socket状态是内核在进行的,这个效率要比用户线程要高的多

I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符,而这些文件描述符(套接字描述符)其中的任意一个进入读就绪状态,select()函数就可以返回。


不过要注意的是,多路复用IO模型是通过轮询的方式来检测是否有事件到达,并且对到达的事件逐一进行响应。因此对于多路复用IO模型来说,一旦事件响应体很大,那么就会导致后续的事件迟迟得不到处理,并且会影响新的事件轮询。

因此: 多路复用IO比较适合连接数比较多、单个事件处理时间短而快的场景!

信号驱动IO模型

当用户线程发起一个IO请求操作,会给对应的socket注册一个信号函数,然后用户线程会继续向后执行;当内核数据就绪时会发送一个信号给用户线程,用户线程接收到信号之后,便在信号函数中调用IO读写操作来进行实际的IO请求操作

异步IO模型

异步IO模型才是最理想的IO模型,在异步IO模型中,当用户线程发起read操作之后,立刻就可以开始去做其它的事。而另一方面,从内核的角度,当它受到一个asynchronous read之后,它会立刻返回,说明read请求已经成功发起了,因此不会对用户线程产生任何block。然后,内核会等待数据准备完成,然后将数据拷贝到用户线程,当这一切都完成之后,内核会给用户线程发送一个信号,告诉它read操作完成了。也就说用户线程完全不需要实际的整个IO操作是如何进行的,只需要先发起一个请求,当接收内核返回的成功信号时表示IO操作已经完成,可以直接去使用数据了。

在异步IO模型中,IO操作的两个阶段都不会阻塞用户线程,这两个阶段都是由内核自动完成,然后发送一个信号告知用户线程操作已完成。用户线程中不需要再次调用IO函数进行具体的读写。
这点是和信号驱动模型有所不同的:在信号驱动模型中,当用户线程接收到信号表示数据已经就绪,然后需要用户线程调用IO函数进行实际的读写操作;而在异步IO模型中,收到信号表示IO操作已经完成,不需要再在用户线程中调用iO函数进行实际的读写操作。

注意:

异步IO是需要操作系统的底层支持,在Java 7中,提供了Asynchronous IO。

前面四种IO模型实际上都属于同步IO,只有最后一种是真正的异步IO,因为无论是多路复用IO还是信号驱动模型,IO操作的第2个阶段都是由用户线程来做的,内核进行数据拷贝的过程都会让用户线程阻塞。

两种高性能IO设计模式

在传统的网络服务设计模式中,有两种比较经典的模式:

  一种是 多线程,一种是 线程池。

  对于多线程模式,也就说来了client,服务器就会新建一个线程来处理该client的读写事件,如下图所示:

 这种模式虽然处理起来简单方便,但是由于服务器为每个client的连接都采用一个线程去处理,使得资源占用非常大

该模式的弊端:

  1. 当连接数量达到上限时,再有用户请求连接,直接会导致资源瓶颈,严重的可能会直接导致服务器崩溃。 lunix服务对每个进程能打开的进程的数量、线程栈的大小、文件描述符等都是是有限制的(ulimit -n)
  2. 若使用线程池,如果连接大多是长连接,因此可能会导致在一段时间内,线程池中的线程都被占用,那么当再有用户请求连接时,由于没有可用的空闲线程来处理,就会导致客户端连接失败,从而影响用户体验。因此,线程池比较适合大量的短连接应用

Reactor和Proactor

在Reactor模式中,会先对每个client注册感兴趣的事件,然后有一个线程专门去轮询每个client是否有事件发生,当有事件发生时,便顺序处理每个事件,当所有事件处理完之后,便再转去继续轮询,如下图所示:

从这里可以看出,上面的五种IO模型中的多路复用IO就是采用Reactor模式注意,上面的图中展示的 是顺序处理每个事件,当然为了提高事件处理速度,可以通过多线程或者线程池的方式来处理事件.  (netty就是分一个bossExecutor与workerExecutor)

在Proactor模式中,当检测到有事件发生时,会新起一个异步操作,然后交由内核线程去处理,当内核线程完成IO操作之后,发送一个通知告知操作已完成,可以得知,异步IO模型采用的就是Proactor模式

转载于:https://my.oschina.net/u/3434392/blog/2875118

相关文章:

  • [cogs2652]秘术「天文密葬法」
  • 【AliOS Things学习笔记】在Developerkit开发板上运行blink例程
  • 黑盒测试的测试方法
  • 开发阶段
  • angular2+ 生命周期
  • 可见面判别算法---光线投射算法
  • [每日短篇] 10 - Docker 清理无用的镜像
  • 书摘—极致产品
  • 0013-如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据
  • MySQL数据类型详解
  • React和Redux的连接react-redux
  • VUE-文字跑马灯
  • 虚拟机与Docker有何不同?
  • 命令执行
  • Cesium入门6 - Adding Imagery - 添加图层
  • JavaScript 如何正确处理 Unicode 编码问题!
  • [译] 理解数组在 PHP 内部的实现(给PHP开发者的PHP源码-第四部分)
  • Android 架构优化~MVP 架构改造
  • ES6系统学习----从Apollo Client看解构赋值
  • iOS | NSProxy
  • Java 网络编程(2):UDP 的使用
  • JAVA 学习IO流
  • JavaScript设计模式之工厂模式
  • Just for fun——迅速写完快速排序
  • PHP面试之三:MySQL数据库
  • SQLServer之创建数据库快照
  • win10下安装mysql5.7
  • 工作中总结前端开发流程--vue项目
  • 精彩代码 vue.js
  • 开发了一款写作软件(OSX,Windows),附带Electron开发指南
  • 体验javascript之美-第五课 匿名函数自执行和闭包是一回事儿吗?
  • 微信支付JSAPI,实测!终极方案
  • 详解NodeJs流之一
  • zabbix3.2监控linux磁盘IO
  • 新年再起“裁员潮”,“钢铁侠”马斯克要一举裁掉SpaceX 600余名员工 ...
  • ​如何在iOS手机上查看应用日志
  • #宝哥教你#查看jquery绑定的事件函数
  • (03)光刻——半导体电路的绘制
  • (delphi11最新学习资料) Object Pascal 学习笔记---第5章第5节(delphi中的指针)
  • (一)使用IDEA创建Maven项目和Maven使用入门(配图详解)
  • (原)记一次CentOS7 磁盘空间大小异常的解决过程
  • .aanva
  • .mysql secret在哪_MySQL如何使用索引
  • .NET Core WebAPI中封装Swagger配置
  • .NET 读取 JSON格式的数据
  • .Net6使用WebSocket与前端进行通信
  • .NET多线程执行函数
  • .net用HTML开发怎么调试,如何使用ASP.NET MVC在调试中查看控制器生成的html?
  • [ element-ui:table ] 设置table中某些行数据禁止被选中,通过selectable 定义方法解决
  • [ 隧道技术 ] 反弹shell的集中常见方式(四)python反弹shell
  • [ 云计算 | AWS 实践 ] 基于 Amazon S3 协议搭建个人云存储服务
  • []利用定点式具实现:文件读取,完成不同进制之间的
  • [acm算法学习] 后缀数组SA
  • [acwing周赛复盘] 第 94 场周赛20230311
  • [AIGC] SQL中的数据添加和操作:数据类型介绍