Hangi Python bellek profili önerilir? [kapalı]

Python uygulamamın bellek kullanımını bilmek istiyorum ve özellikle hangi kod bloklarının / bölümlerinin veya nesnelerinin en fazla bellek harcadığını bilmek istiyorum. Google arama, ticari bir reklamın Python Bellek Doğrulayıcı olduğunu gösterir (yalnızca Windows).

Ve açık kaynak kodlu olanlar PySizer ve Heapy'dir .

Kimseyi denemedim, bu yüzden hangisinin en iyi olduğunu bilmek istedim:

1. Çoğu ayrıntıyı verir.

2. Kodumda en az veya hiç değişiklik yapmam gerekiyor.

Heapy'nin kullanımı oldukça basittir. Kodunuzun bir noktasında aşağıdakileri yazmanız gerekir:

from guppy import hpy
h = hpy()
print(h.heap())

Bu size böyle bir çıktı verir:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

Ayrıca, nesnelerin nereden kaynaklandığını öğrenebilir ve bununla ilgili istatistikleri alabilirsiniz, ancak buradaki dokümanlar bir şekilde seyrek.

Tk ile yazılmış bir grafik tarayıcı da var.

Kimse söz beri benim modül işaret edeceğiz memory_profiler bellek kullanımının line-by-line raporunu baskı hızına ve (bu sonuncusu üzerinde psutil ihtiyaçlarına) Unix ve Windows üzerinde çalışır. Çıktı çok ayrıntılı değil ancak amaç, kodun tahsis edilen nesneler üzerinde ayrıntılı bir analiz değil, nerede daha fazla bellek harcadığına dair bir genel bakış sunmaktır.

İşlevinizi dekore ettikten @profileve kodunuzu -m memory_profilerbayrakla çalıştırdıktan sonra , aşağıdaki gibi bir satır satır rapor yazdırır:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Dowser'ı tavsiye ederim . Kurulumu çok kolaydır ve kodunuzda sıfır değişiklik yapmanız gerekir. Zaman içinde her türden nesne sayısını görüntüleyebilir, canlı nesnelerin listesini görüntüleyebilir, canlı nesnelere referansları görüntüleyebilirsiniz, hepsi basit web arayüzünden.

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

Memdebug'u içe aktarın ve memdebug.start öğesini çağırın. Bu kadar.

PySizer veya Heapy'yi denemedim. Başkalarının değerlendirmeleri takdir ediyorum.

GÜNCELLEME

Yukarıdaki kod için CherryPy 2.X, yöntem kaldırılmıştır ve almaz bayrak. Yani eğer kullanıyorsanızCherryPy 3.Xserver.quickstartengine.startblockingCherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

İtiraz kütüphanesini düşünün (bkz.http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks örnek bir kullanım örneği için).

Muppy (başka bir) Python için Bellek Kullanımı Profiler. Bu araç setinin odak noktası bellek sızıntılarının tanımlanmasıdır.

Muppy, geliştiricilere Python uygulamalarının kimlik bellek sızıntılarına yardımcı olmaya çalışır. Çalışma zamanı sırasında bellek kullanımının izlenmesini ve sızan nesnelerin tanımlanmasını sağlar. Ayrıca, serbest bırakılmayan nesnelerin kaynağının yerini belirleyen araçlar da sağlanır.

Python için memprof adlı bir bellek profili geliştiriyorum:

http://jmdana.github.io/memprof/

Dekore edilmiş yöntemlerin yürütülmesi sırasında değişkenlerinizin bellek kullanımını günlüğe kaydetmenizi ve çizmenizi sağlar. Kütüphaneyi aşağıdakileri kullanarak içe aktarmanız yeterlidir:

from memprof import memprof

Ve yönteminizi kullanarak süsleyin:

@memprof

Bu, arazilerin nasıl göründüğüne bir örnektir:

Proje GitHub'da barındırılıyor:

https://github.com/jmdana/memprof

Bulduğum meliae Heapy veya PySizer çok daha fonksiyonel olması. Bir wsgi webapp çalıştırıyorsanız, Dozer Dowser'ın güzel bir ara katman yazılımıdır

Ayrıca Python satır numarası başına bellek kullanımını sağlayan pytracemalloc projesini deneyin .

EDIT (2014/04): Artık anlık görüntüleri analiz etmek için bir Qt GUI'ye sahip.