Python垃圾回收及Linux Fork实例分析
导读:本文共1675.5字符,通常情况下阅读需要6分钟。同时您也可以点击右侧朗读,来听本文内容。按键盘←(左) →(右) 方向键可以翻页。
摘要: 前言:在口袋助理看到了其他部门的同事针对Python2内存占用做的一点优化工作,自己比较感兴趣,遂记录下。1.Linux fork简介fork是Linux提供的创建子进程的系统调用。为了优化创建进程速度,Linux内核使用了Copy-on-Write的方式去创建进程,所谓Copy-on-Write是指执行fork之后,内核并不立即给子进程分配物理内存空间,而是让... ...
目录
(为您整理了一些要点),点击可以直达。前言:
在口袋助理看到了其他部门的同事针对Python2
内存占用做的一点优化工作,自己比较感兴趣,遂记录下。
1.Linux fork简介
fork是Linux提供的创建子进程的系统调用。为了优化创建进程速度,Linux内核使用了Copy-on-Write
的方式去创建进程,所谓Copy-on-Write
是指执行fork之后,
内核并不立即给子进程分配物理内存空间,而是让子进程的虚内存映射到父进程的物理内存。仅仅当子进程向地址空间中执行写入操作时,才给它分配一段物理内存。
通过这种方式既优化了进程创建的时间,又减少了子进程的内存占用。
1.Copy-On-Write策略增加Python多进程内存占用的原因
Python GC采用引用技术的方式去管理对每个对象的引用,每一个被GC跟踪的对象会由一个PyGC_Head的结构体去表示。如下所示,其中gc_refs
就是每个对象的引用计数值,
当我们在子进程中读取父进程创建的对象的时候,就会导致子进程的虚地址空间中的gc_refs
加1,从而触发了内核的缺页中断,这是内核就会给子进程创建新的物理内存。
仅仅是简单的读取操作就会导致新的内存空间产生。
/*GCinformationisstoredBEFOREtheobjectstructure.*/typedefunion_gc_head{struct{union_gc_head*gc_next;union_gc_head*gc_prev;Py_ssize_tgc_refs;}gc;longdoubledummy;/*forceworst-casealignment*/}PyGC_Head;
3.解决办法
python3的解决方法:
针对这个问题,Python3.7增加了三组API(有instagram团体提交的)[1]。
freeze
用于将GC追踪的所有对象都移动到永生代(permanent generation)
,之后垃圾回收会忽略这些被设置为永生代的对象。
实际使用中,我们可以在父进程中执行freeze
函数,然后子进程中使用和父进程共享的对象,这样对象的引用技术就不会增加,从而避免了COW的发生。
python2的解决方法:
(1) 针对Python2,我们可以简单的把Python3的相关函数移植过来
(2) 使用multiprocessing.Array去共享数据。Array会从共享内存中取一段取存储数据,并不会增加引用技术值,从而触发COW。
实现方面,Array使用Posix共享内存 + mmap去实现。[3]
#!/usr/bin/envpython#coding=utf-8frommultiprocessingimportArrayimportosimportsysdeffoo():shared_cache=Array('i',range(0,100),lock=False)pid=os.fork()ifpid>0:print("parent:",sys.getrefcount(shared_cache))elifpid==0:print("child:",sys.getrefcount(shared_cache))foo()
</div> <div class="zixun-tj-product adv-bottom"></div> </div> </div> <div class="prve-next-news">
Python垃圾回收及Linux Fork实例分析的详细内容,希望对您有所帮助,信息来源于网络。