当前位置: 首页 > news >正文

python内存泄露的诊断(转)

  本篇文章非原创,转载自:http://rstevens.iteye.com/blog/828565 。


 

  对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。

  最近在我的项目中,就出现了内存持续增长的情况,google 了一下,发现 Tracing Python memory leaks 讲了一种诊断方式,并给出了实例。而我的案例与此文稍有不同,下面就结合我的案例,谈谈如何诊断内存泄露: 

一、内存泄露的原因

  对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因: 

  1、 所用到的用 C 语言开发的底层模块中出现了内存泄露。 
  2、 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收 
  3、 代码中有“引用循环”, python 垃圾处理机制无法进行回收 

二、 内存泄露的诊断思路 

  无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。 

三、 内存泄露的诊断步骤 

  用到的工具: gc 模块和 objgraph 模块 
  objgraph 是一个用于诊断内存问题的有用的工具 

  1、 在服务程序的循环逻辑中,选择出一个诊断点 

  2、 在诊断点,插入如下诊断语句  

import gc  
import objgraph  
### 强制进行垃圾回收  
gc.collect()  
### 打印出对象数目最多的 50 个类型信息  
objgraph.show_most_common_types(limit=50)  

  3、 检查统计信息,找到异常对象。 

  运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。

  以我的程序为例,我将日志记录到 log.txt 中,运行一段时间后,发现 tuple 和 list 类型的对象不停增长: 

# grep "^list " log.txt  
# grep "^tuple " log.txt  

  如果不停增长的对象,是一些非通用的类型(例如你自己实现的一个 class),那么问题就比较好定位,例如Tracing Python memory leaks中提到的案例。

  而对 tuple 和 list 这类通用类型,要想知道对象到底是什么,泄露发生在哪里,还得想点办法。我采用了排查的方式。由于程序的模块化还不错,可以每次禁用一个模块,然后重新跑程序,重新检查日志,看看 tuple 和 list 是否仍然不停增长。这样,很快就能将故障定位到具体的模块中。 

  最后终于找到了原因,属于上面总结的第二种原因: 

  我的程序是一个多线程程序,多个线程作为生产者,一个线程作为消费者,通过将一个 tuple 对象送入异步队列进行通信。由于消费者的处理速度跟不上生产者的速度,又没有进行同步, 导致异步队列中的对象越来越多。 

四、参考文档 

1. http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks 
2. http://mg.pov.lt/blog/python-object-graphs.html 
3. http://mg.pov.lt/blog/hunting-python-memleaks 

 

转载于:https://www.cnblogs.com/H-Vking/p/5572335.html

相关文章:

  • expdp和impdp数据泵
  • Mybatis调用存储过程
  • Electron入门介绍
  • win7 下硬盘安装Redhat7
  • EJBCA认证系统结构及相关介绍
  • Hadoop集群(四) Hadoop升级
  • 爬虫模拟登陆 SegmentFault
  • 《OOD启思录》:61条面向对象设计的经验原则
  • 学习C语言指针和链表的体会
  • [bzoj1912]异象石(set)
  • nginx源码分析——配置
  • 模糊查询和聚合函数
  • maxsdk sample中3dsexp.rc点不开并提示specstrings.h中找不到sal.h解法
  • 移动端开发调试工具神器--Weinre使用方法
  • Python:判断一个字典里面key是否存在
  • 【跃迁之路】【641天】程序员高效学习方法论探索系列(实验阶段398-2018.11.14)...
  • download使用浅析
  • Fastjson的基本使用方法大全
  • java2019面试题北京
  • JavaScript设计模式系列一:工厂模式
  • jQuery(一)
  • web标准化(下)
  • 技术攻略】php设计模式(一):简介及创建型模式
  • 精益 React 学习指南 (Lean React)- 1.5 React 与 DOM
  • 马上搞懂 GeoJSON
  • 三栏布局总结
  • 要让cordova项目适配iphoneX + ios11.4,总共要几步?三步
  • 字符串匹配基础上
  • Android开发者必备:推荐一款助力开发的开源APP
  • LevelDB 入门 —— 全面了解 LevelDB 的功能特性
  • Semaphore
  • ​虚拟化系列介绍(十)
  • #13 yum、编译安装与sed命令的使用
  • $refs 、$nextTic、动态组件、name的使用
  • (10)工业界推荐系统-小红书推荐场景及内部实践【排序模型的特征】
  • (编程语言界的丐帮 C#).NET MD5 HASH 哈希 加密 与JAVA 互通
  • (二) Windows 下 Sublime Text 3 安装离线插件 Anaconda
  • (切换多语言)vantUI+vue-i18n进行国际化配置及新增没有的语言包
  • .NET企业级应用架构设计系列之结尾篇
  • /*在DataTable中更新、删除数据*/
  • :如何用SQL脚本保存存储过程返回的结果集
  • [BUG]Datax写入数据到psql报不能序列化特殊字符
  • [BUG]vscode插件live server无法自动打开浏览器
  • [C#基础知识系列]专题十七:深入理解动态类型
  • [Docker]十一.Docker Swarm集群raft算法,Docker Swarm Web管理工具
  • [Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated c
  • [ffmpeg] aac 音频编码
  • [IOI2018] werewolf 狼人
  • [Kubernetes]2. k8s集群中部署基于nodejs golang的项目以及Pod、Deployment详解
  • [leetcode 189][轮转数组]
  • [NCTF 2022] web题解
  • [Oh My C++ Diary]结构体变量的声明
  • [PHP]pearProject协作系统 v2.8.14 前后端
  • [Rust] 使用vscode实现HelloWorld程序并进行debug
  • [shell,hive] 在shell脚本中将hiveSQL分离出去