博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python性能分析指南——中
阅读量:6500 次
发布时间:2019-06-24

本文共 1277 字,大约阅读时间需要 4 分钟。

Python性能分析指南——中

程序使用了多少内存?

现在我们对计时有了较好的理解,那么让我们继续弄清楚程序使用了多少内存。我们很幸运,Fabian Pedregosa模仿Robert Kern的line_profiler实现了一个不错的内存分析器。

首先使用pip安装:

Python性能分析指南——中

这里建议安装psutil包,因为它可以大大改善memory_profiler的性能)。

就像line_profiler,memory_profiler也需要在感兴趣的函数上面装饰@profile装饰器:

Python性能分析指南——中

想要观察你的函数使用了多少内存,像下面这样执行:

Python性能分析指南——中

一旦程序退出,你将会看到看起来像这样的输出:

Python性能分析指南——中

line_profiler和memory_profiler的IPython快捷方式

memory_profiler和line_profiler有一个鲜为人知的小窍门,两者都有在IPython中的快捷命令。你需要做的就是在IPython会话中输入以下内容:

Python性能分析指南——中

在这样做的时候你需要访问魔法命令%lprun和%mprun,它们的行为类似于他们的命令行形式。主要区别是你不需要使用@profiledecorator来修饰你要分析的函数。只需要在IPython会话中像先前一样直接运行分析:

Python性能分析指南——中

这样可以节省你很多时间和精力,因为你的源代码不需要为使用这些分析命令而进行修改。

内存泄漏在哪里?

cPython解释器使用引用计数做为记录内存使用的主要方法。这意味着每个对象包含一个计数器,当某处对该对象的引用被存储时计数器增加,当引用被删除时计数器递减。当计数器到达零时,cPython解释器就知道该对象不再被使用,所以删除对象,释放占用的内存。

如果程序中不再被使用的对象的引用一直被占有,那么就经常发生内存泄漏。

查找这种“内存泄漏”最快的方式是使用Marius Gedminas编写的objgraph,这是一个极好的工具。该工具允许你查看内存中对象的数量,定位含有该对象的引用的所有代码的位置。

一开始,首先安装objgraph:

Python性能分析指南——中

一旦你已经安装了这个工具,在你的代码中插入一行声明调用调试器:

Python性能分析指南——中

最普遍的对象是哪些?

在运行的时候,你可以通过执行下述指令查看程序中前20个最普遍的对象:

Python性能分析指南——中

哪些对象已经被添加或删除?

我们也可以查看两个时间点之间那些对象已经被添加或删除:

Python性能分析指南——中

谁引用着泄漏的对象?

继续,你还可以查看哪里包含给定对象的引用。让我们以下述简单的程序做为一个例子:

Python性能分析指南——中

想要看看哪里包含变量x的引用,执行objgraph.show_backref()函数

Python性能分析指南——中

该命令的输出应该是一副PNG图像,保存在/tmp/backrefs.png,它看起来是像这样:

Python性能分析指南——中

最下面有红字的盒子是我们感兴趣的对象。我们可以看到,它被符号x引用了一次,被列表y引用了三次。如果是x引起了一个内存泄漏,我们可以使用这个方法,通过跟踪它的所有引用,来检查为什么它没有自动的被释放。

回顾一下,objgraph 使我们可以:

  • 显示占据python程序内存的头N个对象
  • 显示一段时间以后哪些对象被删除活增加了
  • 在我们的脚本中显示某个给定对象的所有引用

转载地址:http://rztyo.baihongyu.com/

你可能感兴趣的文章
Phpcms V9手机门户设置教程:怎么用PC V9做手机网站
查看>>
(转) SYSTEM_HANDLE_INFORMATION中ObjectTypeIndex的定义
查看>>
使用HTML5监測站点性能
查看>>
洛谷P2089烤鸡
查看>>
智销功能_Shiro权限框架
查看>>
简单的实现IOCP服务器模型
查看>>
2017年9月11日 梁勇 java教材 编程练习题 第二章 2.15 键盘 读取两个点的坐标值(小数),控制台输出两点间距离。...
查看>>
Java面试题总结-Day4
查看>>
git学习
查看>>
Linux内核中锁机制之完成量、互斥量
查看>>
【转】解密“设计模式”
查看>>
正则表达式语法
查看>>
StringBuffer类
查看>>
Navicat for Oracle
查看>>
配置文件的简单使用
查看>>
K-Means聚类算法原理
查看>>
Xshell5中常用linux服务器命令集合
查看>>
合并区间(LintCode)
查看>>
npm升级到最新版本、指定版本
查看>>
作业-继承8
查看>>