Python 打算删除大量涉及像C和C++语言那样的复杂内存管理。当对象离开范围,就会被自动垃圾收集器回收。然而,对于由 Python 开发的大型且长期运行的系统来说,内存管理是不容小觑的事情。
在这篇博客中,我将会分享关于减少 Python 内存消耗的方法和分析导致内存消耗/膨胀根源的问题。这些都是从实际操作中总结的经验,我们正在构建 Datos IO 的 RecoverX 分布式备份和恢复平台,这里主要要介绍的是在 Python(在 C++ ,Java 和 bash 中也有一些类似的组件) 中的开发。
Python 垃圾收集
Python解释器对正在使用的对象保持计数。当对象不再被引用指向的时候,垃圾收集器可以释放该对象,获取分配的内存。例如,如果你使用常规的Python(CPython, 不是JPython)时,Python的垃圾收集器将调用free()/delete() 。
实用工具
资源(resource)
resource
模块用来查看项目当前得的固有的)内存消耗(固有内存是项目实际使用的RAM),注意resource库只在linux系统下有效
> import resource > resource.getrusage(resource.RUSAGE_SELF).ru_maxrss 443
对象(objgraph)
objgraph
是一个实用模块,可以展示当前内存中存在的对象
来看看objgraph的简单用法:
import objgraph import random import inspect class Foo(object): def __init__(self): self.val = None def __str__(self): return "foo - val: {0}".format(self.val) def f(): l = [] for i in range(3): foo = Foo() l.append(foo) return l def main(): d = {} l = f() d['k'] = l print "list l has {0} objectsoftype Foo()".format(len(l))
pythontest1.py
输出:
list l has 10000 objectsoftype Foo()
dict 10423
Foo 10000 ————> Guiltyas charged!
tuple 3349
wrapper_descriptor 945
function 860
builtin_function_or_method 616
method_descriptor 338
weakref 199
member_descriptor 161
getset_descriptor 107
注意,我们在内存中还持有10,423个‘dict'的实例对象。
可视化objgraph依赖项
Objgraph有个不错的功能,可以显示Foo()对象在内存中存在的因素,即,显示谁持有对它的引用 (在这个例子中是list l
)。
在RedHat/Centos上, 你可以使用sudo yum install graphviz*安装graphviz
在Ubunbu等系统上使用sudo apt-get install graphviz*安装graphviz
如需查看对象字典 d
,请参考:
objgraph.show_refs(d, filename='sample-graph.png')
从内存使用角度来看,我们惊奇地发现——为什么对象没有释放"htmlcode">
objgraph.show_backrefs(random.choice(objgraph.by_type('Foo')), filename="foo_refs.png")
在这一案例中, 我们查看了Foo类型的随机对象。我们知道该特定对象被保存在内存中,因其引用链接在指定范围内。
有时,以上技巧能帮助我们理解,为什么当我们不再使用某对象时,Python垃圾回收器没有将垃圾回收。
难处理的是,有时候我们会发现Foo()占用了很多内存的类。这时我们可以用heapy()来回答以上问题。
Heapy
heapy 是一个实用的,用于调试内存消耗/泄漏的工具。通常,我将objgraph和heapy搭配使用:用 heapy 查看分配对象随时间增长的差异,heapy能够显示对象持有的最大内存等;用Objgraph找backref链(例如:前4节),尝试获取它们不能被释放的原因。
Heapy的典型用法是在不同地方的代码中调用一个函数,试图为内存使用量提供大量收集线索,找到可能会引发的问题:
from guppyimport hpy def dump_heap(h, i): """ @param h: Theheap (from hp = hpy(), h = hp.heap()) @param i: Identifierstr """ print "Dumpingstatsat: {0}".format(i) print 'Memoryusage: {0}(MB)'.format(resource.getrusage(resource.RUSAGE_SELF).ru_maxrss/1024) print "Mostcommontypes:" objgraph.show_most_common_types() print "heapis:" print "{0}".format(h) by_refs = h.byrcs print "byreferences: {0}".format(by_refs) print "Morestatsfor topelement.." print "Byclodo (class or dict owner): {0}".format(by_refs[0].byclodo) print "Bysize: {0}".format(by_refs[0].bysize) print "Byid: {0}".format(by_refs[0].byid)
减少内存消耗小技巧
在这一部分,我会介绍一些自己发现的可减少内存消耗的小窍门.
Slots
当你有许多对象时候可以使用Slots。Slotting传达给Python解释器:你的对象不需要动态的字典(从上面的例子2.2中,我们看到每个Foo()对象内部包含一个字典)
用slots定义你的对象,让python解释器知道你的类属性/成员是固定的.。这样可以有效地节约内存!
参考以下代码:
import resource class Foo(object): #__slots__ = ('val1', 'val2', 'val3', 'val4', 'val5', 'val6') def __init__(self, val): self.val1 = val+1 self.val2 = val+2 self.val3 = val+3 self.val4 = val+4 self.val5 = val+5 self.val6 = val+6 def f(count): l = [] for i in range(count): foo = Foo(i) l.append(foo) return l def main(): count = 10000 l = f(count) mem = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss print "Memoryusageis: {0} KB”.format(mem) print "Sizeperfooobj: {0} KB”.format(float(mem)/count) if __name__ == "__main__”: main()
[vagrant@datosdevtemp]$ pythontest2.py
输出:
Memoryusageis: 16672 KB
Sizeperfooobj: 1.6672 KB
Nowun-commentthisline: #__slots__ = (‘val1', ‘val2', ‘val3', ‘val4', ‘val5', ‘val6')
[vagrant@datosdevtemp]$ pythontest2.py
Memoryusageis: 6576 KB
Sizeperfooobj: 0.6576 KB
在这个例子中,减少了60%的内存消耗!
驻留:谨防驻留字符串!
Python会记录如字符串等不可改变的值(其每个值的大小依赖于实现方法),这称为驻留。
> t = "abcdefghijklmnopqrstuvwxyz" p = "abcdefghijklmnopqrstuvwxyz" id(t) 139863272322872 > id(p) 139863272322872
这是由python解析器完成的,这样做可以节省内存,并加快比较速度。例如,如果两个字符串拥有相同的ID或引用–他们就是全等的。
然而,如果你的程序创建了许多小的字符串,你的内存就会出现膨胀。
生成字符串时使用Format来代替“+”
接下来,在构造字符串时,使用Format来代替“+”构建字符串。
亦即,
st = "{0}_{1}_{2}_{3}".format(a,b,c,d) # 对内存更好,不创建临时变量 st2 = a + '_' + b + '_' + c + '_' + d # 在每个"+"时创建一个临时str,这些都是驻留在内存中的。
在我们的系统中,当我们将某些字符串构造从“+”变为使用format时,内存会明显被节省。
关于系统级别
上面我们讨论的技巧可以帮助你找出系统内存消耗的问题。但是,随着时间的推移,python进程产生的内存消耗会持续增加。这似乎与以下问题有关:
- 为什么C中内存分配能够在Python内部起作用,这本质上是内存碎片导致的。因为,除非整个内存没有使用过,否则该分配过程不能调用‘free'方法。但需要注意的是,内存的使用不是根据你所创建和使用的对象来进行排列。
- 内存增加也和上面讨论的“Interning” 有关。
以我的经验来看,减少python中内存消耗的比例是可行的。在Datos IO中,我曾经针对指定的内存消耗进程实现过一个工作模块。对于序列化的工作单元,我们运行了一个工作进程。当工作进程完成后, 它会被移除了——这是返回系统全部内存的唯一可以有效方法 :)。好的内存管理允许增加分配内存的大小,即允许工作进程长时间运行。
总结
我归纳了一些减少python进程消耗内存的技巧,当我们在代码中寻找内存泄漏时,一种方法是通过使用Heapy找出哪些Obj占用了较多内存,然后通过使用Objgraph找出内存被释放的原因(除非你认为他们本应该被释放)。
总的来说,我觉得在python中寻找内存问题是一种修行。随着时间的积累,对于系统中的内存膨胀和泄漏问题,你能产生一种直觉判断,并能更快地解决它们。愿你在发现问题的过程中找到乐趣!
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
python,内存消耗
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 大自然音乐系列《星光夜语》[WAV/CUE/分轨][453.3MB]
- 史依弘《史依弘交响乐京剧演唱专辑HQ》头版限量编号[WAV+CUE]
- 曼丽2020《女人三十风继续吹》HQCD[WAV+CUE]
- 曼丽2021《女人三十2雾之恋》HQCD[WAV+CUE]
- 隔壁老樊.2019-我曾【好听音乐】【FLAC分轨】
- 高林生.1993-牵挂你的人是我【白天鹅】【WAV+CUE】
- 洪卓立.2012-找个懂我的女孩(国专)【英皇娱乐】【WAV+CUE】
- 曼丽2022《女人三十3晚秋》HQCD[WAV+CUE]
- 曼丽2018《女人三十4冬天》HQCD[WAV+CUE]
- 柏菲-《好歌30年壹》限量开盘母带ORMCD[低速原抓WAV+CUE]
- 大自然音乐系列《水舞》[WAV/CUE/分轨][424.3MB]
- 大自然音乐系列《星光夜语》[WAV/CUE/分轨][453.3MB]
- 大自然音乐系列《鲸声奇遇》[WAV/CUE/分轨][566.8MB]
- 陆虎.2024-时间是个有趣的东西【天娱传媒】【FLAC分轨】
- 江淑娜.1988-琼瑶原著电视连续剧主题曲【风格】【WAV+CUE】