当前位置: 首页 > news >正文

容器内存

一、容器内存概述

容器本质上还是一个进程,是一个被隔离和限制的进程。因此容器内存和进程内存在表现形式上其实是一样的,这块主要涉及三部分内容:RSS,page cache和swap这三部分,容器基于memory Cgroup对内存进行限制,但是具体限制的什么呢?又有哪些参数可以对其进行控制呢?

二、容器进程被莫名kill掉

在linux中当一个进程使用malloc申请分配内存的时候,操作系统并不会立即给该进程分配真实的物理存,此时分配的其实是虚拟内存。因此进程是可以申请超过物理内存上限的内存。为啥要这么设计呢?因为空闲内存空间是不断变化的,有进程申请必然有进程归还,此时申请的时候不够,谁能保证下一个时刻还不够呢?因此才有这个overcommit机制。
但是当一个进程在不断向内存中写数据的时候,如果内存还是不够用,此时就会OOM,被操作系统kill掉,毕竟不能把数据写到别的进程的内存空间中去,也算是一种保护机制。
当然kill掉是容器的默认行为,具体的这个行为是可以通过参数设置的。
其中43fxxxxxx 是容器的id,也就是每个容器都可以对其进行控制
image.png
还有几个比较重要的参数
image.png
从文件名称也可以看出来分别是最大限制,和当前使用。
每个运行的容器下面都有这些文件,可以自定义合适的参数值。

三、容器与page cache

进程除了有自己独立的RSS内存,如果涉及到文件的读写,linux还会为进程分配page cache,什么是page cache呢,page cache是操作系统在读写磁盘上的文件的时候,操作系统为了提升性能会预加载一部分内容到空闲的内存中来,而这部分空闲的内存则称为page cache。
但是如果没有空闲内存,而进程由要申请新的内存,则会回收page cache。保证内存供进程使用。
而上面提到的memory.usage.in_bytes = RSS + page cache
因此在某些情况下,memory.usage.in_bytes 是大于memory_limit_in_bytes的,但是不用担心,因为page cache是自动回收的。
因此查看容器的真实的内存占用,查看memory.usage.in_bytes 是不准的,需要看:
image.png
page cache不属于传统的内存限制范畴,是操作系统用来缓存文件的,不属于用户,属于操作系统内核,每个容器都可以使用page cache。
image.png
红色的部分就是page cache。
在关注容器的内存占用的时候,主要关注RSS。

四、容器和swap

swap其实并不是一块内存空间,而是一块磁盘空间,不过操作系统有时会将这块磁盘空间当作内存使用而已。当内存写满的时候,操作系统可以将一部分不用的数据暂时存放到swap空间上,待需要的时候再从swap中加载进来。
那么当内存紧张的时候,操作系统是会选择先释放page cache呢还是先把冷数据放到swap中去呢?
这个可以针对每一个容器进行定制化,具体修改下面这个配置文件:
image.png
swappiness的取值范围在0到100之间,

  • 值为100的时候, 释放Page Cache和写冷数据到swap是同等优先级的。
  • 值为60,这是大多数Linux系统的缺省值,这时候Page Cache的释放优先级高于写冷数据到swap。
  • 值为0的时候,会限制该容器中的进程使用swap空间,仅对该容器生效

容器级别的swappiness会覆盖操作系统级别的。
因此swap也不属于传统内存的限制范畴,每个容器都可以使用。

五、总结

memory cgroup 限制的是容器真正使用到的内存,对于swap和page cache 都是内核级别的,是由操作系统进行管理的,是所有进程共享的,是不能被memory cgroup所限制的。

相关文章:

  • 13 Redis-- 数据一致性模型、MySQL 和 Redis 的数据一致性
  • 【JavaScript脚本宇宙】从Cypress到Nightwatch.js:全面解析前端自动化测试工具
  • ROS2自定义接口Python实现机器人移动
  • llama.cpp
  • CPP入门:日期类的构建
  • [AIGC] HashMap的扩容与缩容:动态调整容量以提高性能
  • 【JavaEE精炼宝库】多线程进阶(2)synchronized原理、JUC类——深度理解多线程编程
  • 【Qt+opencv】图片与视频的操作
  • 13018.CUDA工程配置GDB调试
  • 探索未来远程调试新纪元——《串口网口远程调试软件》:无缝连接,高效调试
  • 森林防火气象站:守护森林安全的科技利器
  • 【FFmpeg】avcodec_find_encoder和avcodec_find_decoder
  • 《mysql篇》--查询(进阶)
  • TCP: 传输控制协议
  • 双非本 985 硕,我马上要入职上海AI实验室大模型算法岗
  • Android开发 - 掌握ConstraintLayout(四)创建基本约束
  • Angular Elements 及其运作原理
  • canvas绘制圆角头像
  • CSS魔法堂:Absolute Positioning就这个样
  • DOM的那些事
  • express如何解决request entity too large问题
  • JDK9: 集成 Jshell 和 Maven 项目.
  • LeetCode29.两数相除 JavaScript
  • sessionStorage和localStorage
  • 模型微调
  • 使用 Node.js 的 nodemailer 模块发送邮件(支持 QQ、163 等、支持附件)
  • 我的面试准备过程--容器(更新中)
  • 异步
  • 用简单代码看卷积组块发展
  • 职业生涯 一个六年开发经验的女程序员的心声。
  • ​草莓熊python turtle绘图代码(玫瑰花版)附源代码
  • ​猴子吃桃问题:每天都吃了前一天剩下的一半多一个。
  • ​用户画像从0到100的构建思路
  • #define
  • #stm32驱动外设模块总结w5500模块
  • (13)Latex:基于ΤΕΧ的自动排版系统——写论文必备
  • (2024最新)CentOS 7上在线安装MySQL 5.7|喂饭级教程
  • (DFS + 剪枝)【洛谷P1731】 [NOI1999] 生日蛋糕
  • (Redis使用系列) Springboot 使用redis的List数据结构实现简单的排队功能场景 九
  • (二)c52学习之旅-简单了解单片机
  • (二)Eureka服务搭建,服务注册,服务发现
  • (附源码)springboot建达集团公司平台 毕业设计 141538
  • (附源码)计算机毕业设计SSM疫情居家隔离服务系统
  • (六) ES6 新特性 —— 迭代器(iterator)
  • (篇九)MySQL常用内置函数
  • (亲测有效)推荐2024最新的免费漫画软件app,无广告,聚合全网资源!
  • (未解决)macOS matplotlib 中文是方框
  • (最优化理论与方法)第二章最优化所需基础知识-第三节:重要凸集举例
  • .bat批处理(八):各种形式的变量%0、%i、%%i、var、%var%、!var!的含义和区别
  • .NET 同步与异步 之 原子操作和自旋锁(Interlocked、SpinLock)(九)
  • [@Controller]4 详解@ModelAttribute
  • [<事务专题>]
  • [1159]adb判断手机屏幕状态并点亮屏幕
  • [ActionScript][AS3]小小笔记
  • [Avalon] Avalon中的Conditional Formatting.