当前位置: 首页 > news >正文

Linux实现异步IO的方法:epoll,posix aio,libaio,io_uring

Linux中异步IO的实现方式大概有以下几种:

1. epoll

熟悉网络编程的人可能会想到select,poll,epoll这些异步IO的方式,但实际上这些方式叫做非阻塞IO,用于把网络读写的阻塞变成非阻塞,并不是实际意义上的异步IO。因此Epoll这些只能用于实现非阻塞的Socket IO无法用于异步的Storage IO
因为只有网络IO才存在阻塞的情况(也即,这个网络文件描述符是否准备好被读写?),因此你不知道网络的对方何时给你发送消息;而Storage IO则不存在这种现象,要读取的硬盘数据一直准备好被读写,因此不存在阻塞的情况。
详细的解释可以看这篇文章:https://www.pulpcode.cn/2021/04/03/regular-files-with-epoll/
关于阻塞,非阻塞,同步,异步的概念可以参考这篇文章:https://blog.csdn.net/weixin_45888152/article/details/125699347

2. POSIX AIO

首先,POSIX AIO的API在<aio.h>中,并且在编译的时候需要link librt(-lrt)。POSIX AIO 本质上在是在用户级别上实现的它在多个线程中执行正常的阻塞 I/O,因此给人一种 I/O 是异步的错觉。这样做特点是:
▶ 它适用于任何文件系统
▶ 它(基本上)可以在任何操作系统上运行
▶ 它适用于启用缓冲的文件(即不设置 O_DIRECT 标志)
而主要缺点是IO队列深度(即实际可以执行的未完成操作数)受所选线程数的限制

3. LibAIO(kernel AIO)

libaio是在内核中实现的一套异步IO方式,它不是基于多线程实现的,一般也叫做kernel AIO。Libaio的APIs在<libaio.h>中,在编译的时候需要link libaio(-laio)。内核AIO(即io_submit()等)是内核对异步I/O操作的支持,其中io请求实际上在内核中排队,按照拥有的任何磁盘调度器排序,可能其中一些请求作为异步操作(使用TCQ或NCQ)被转发(以某种最优顺序)到实际磁盘。这种方法的主要限制是,并不是所有的文件系统都能很好地使用异步I/O(并且可能会退回到阻塞语义),并且文件必须使用O_DIRECT打开,这对I/O请求有很多其他限制。如果无法使用O_DIRECT打开文件,它可能仍然“工作”,因为您可以获得正确的数据,但它可能不是异步完成的,而是回落到阻塞语义。

实际上,原生的 Linux AIO 有蠻多大大小小的问题,所以并不是真的太流行,linus也痛骂过AIO的设计:

在这里插入图片描述

4.io_uring

待补充,参考资料1,参考资料2

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • Datawhale x李宏毅苹果书AI夏令营深度学习详解进阶Task03
  • 基于生成对抗模型GAN蒸馏的方法FAKD及其在EdgesSRGAN中的应用
  • OpenGuass under Ubuntu_22.04 install tutorial
  • 基于Python实现AES加密与解密
  • 《QDebug 2024年8月》
  • 深度学习(二)-损失函数+梯度下降
  • 【数据结构】-----哈希
  • 【科研新手必备】如何高效、高质量、科学的科研?
  • 仿论坛项目--第二部分习题
  • JAVA进阶学习14
  • RuoYi-Cloud 部署与配置 [CentOS7]
  • 《深入浅出WPF》读书笔记.8路由事件
  • 使用pgrs在wsl中为postgres写拓展
  • huggingface.co 无法访问问题换源解决
  • c++修炼之路之C++11
  • 77. Combinations
  • CentOS7简单部署NFS
  • ECMAScript6(0):ES6简明参考手册
  • express如何解决request entity too large问题
  • iOS 系统授权开发
  • Js基础知识(一) - 变量
  • js正则,这点儿就够用了
  • Octave 入门
  • Vue全家桶实现一个Web App
  • vue学习系列(二)vue-cli
  • 从零开始在ubuntu上搭建node开发环境
  • 对超线程几个不同角度的解释
  • 今年的LC3大会没了?
  • 快速构建spring-cloud+sleuth+rabbit+ zipkin+es+kibana+grafana日志跟踪平台
  • 码农张的Bug人生 - 见面之礼
  • 前端学习笔记之原型——一张图说明`prototype`和`__proto__`的区别
  • 如何解决微信端直接跳WAP端
  • 入口文件开始,分析Vue源码实现
  • 使用Tinker来调试Laravel应用程序的数据以及使用Tinker一些总结
  • 一个6年java程序员的工作感悟,写给还在迷茫的你
  • 云栖大讲堂Java基础入门(三)- 阿里巴巴Java开发手册介绍
  • 最近的计划
  • 06-01 点餐小程序前台界面搭建
  • k8s使用glusterfs实现动态持久化存储
  • 京东物流联手山西图灵打造智能供应链,让阅读更有趣 ...
  • ​RecSys 2022 | 面向人岗匹配的双向选择偏好建模
  • # 利刃出鞘_Tomcat 核心原理解析(八)-- Tomcat 集群
  • #《AI中文版》V3 第 1 章 概述
  • #define用法
  • %check_box% in rails :coditions={:has_many , :through}
  • ()、[]、{}、(())、[[]]等各种括号的使用
  • (DenseNet)Densely Connected Convolutional Networks--Gao Huang
  • (M)unity2D敌人的创建、人物属性设置,遇敌掉血
  • (含react-draggable库以及相关BUG如何解决)固定在左上方某盒子内(如按钮)添加可拖动功能,使用react hook语法实现
  • (几何:六边形面积)编写程序,提示用户输入六边形的边长,然后显示它的面积。
  • (免费领源码)python#django#mysql公交线路查询系统85021- 计算机毕业设计项目选题推荐
  • .MyFile@waifu.club.wis.mkp勒索病毒数据怎么处理|数据解密恢复
  • .net core 外观者设计模式 实现,多种支付选择
  • .NET gRPC 和RESTful简单对比
  • .Net 中的反射(动态创建类型实例) - Part.4(转自http://www.tracefact.net/CLR-and-Framework/Reflection-Part4.aspx)...