Python bellek sızıntıları [kapalı]

Yeterince uzun süre çalışmasına izin verirseniz, sistemimdeki tüm belleği tüketecek uzun çalışan bir komut dosyası var.

Senaryo hakkında ayrıntılara girmeden iki sorum var:

1. Sızıntıların oluşmasını önlemeye yardımcı olacak bir "En İyi Uygulamalar" var mı?
2. Python'da bellek sızıntılarını gidermek için hangi teknikler var?

Bu makaleye bir göz atın: Python bellek sızıntılarını izleme

Ayrıca, çöp toplama modülünün gerçekten hata ayıklama bayrakları ayarlanmış olabileceğini unutmayın . İşleve bakın set_debug. Ayrıca, bir çağrıdan sonra oluşturulan nesne türlerini belirlemek için Gnibbler tarafından bu koda bakın .

Daha önce bahsedilen çoğu seçeneği denedim ama bu küçük ve sezgisel paketi en iyi buldum : pympler

Çöp toplamayan nesneleri izlemek oldukça basittir, bu küçük örneği kontrol edin:

paketi üzerinden yükle pip install pympler

from pympler.tracker import SummaryTracker
tracker = SummaryTracker()

# ... some code you want to investigate ...

tracker.print_diff()

Çıktı, eklenen tüm nesneleri ve bunların harcadığı belleği gösterir.

Örnek çıktı:

                                 types |   # objects |   total size
====================================== | =========== | ============
                                  list |        1095 |    160.78 KB
                                   str |        1093 |     66.33 KB
                                   int |         120 |      2.81 KB
                                  dict |           3 |       840 B
      frame (codename: create_summary) |           1 |       560 B
          frame (codename: print_diff) |           1 |       480 B

Bu paket birkaç özellik daha sağlar. Kontrol pympler belgelerine , özellikle bölüm bellek sızıntıları tanımlama .

Bana tavsiye edelim mem_top oluşturulan alet I

Benzer bir sorunu çözmeme yardımcı oldu

Bir Python programındaki bellek sızıntıları için en iyi şüphelileri anında gösterir

Tracemalloc modülü , Python 3.4'ten başlayarak yerleşik bir modül olarak entegre edildi ve görünüşe göre, Python'un önceki parti sürümleri için üçüncü taraf kitaplığı olarak da mevcut (yine de test etmedi).

Bu modül, en fazla belleği ayıran kesin dosyaları ve çizgileri çıktılayabilir. IMHO, bu bilgi her tür için tahsis edilen örnek sayısından sonsuz olarak daha değerlidir (bu, bir ipucu olan, ancak çoğu durumda zar zor yardımcı olan, zamanın% 99'unda çok fazla tuple olur).

Ben birlikte tracemalloc kullanmanızı tavsiye pyrasite . 10'dan 9 kez, en iyi 10 snippet'i bir piramit kabuğunda çalıştırmak , sızıntıyı 10 dakika içinde düzeltmek için yeterli bilgi ve ipuçları verecektir. Yine de, sızıntı nedenini hala bulamıyorsanız, bu iş parçacığında bahsedilen diğer araçlarla birlikte pyrasite kabuğu muhtemelen size daha fazla ipucu verecektir. Ayrıca, prasit (bellek görüntüleyici gibi) tarafından sağlanan tüm ekstra yardımcılara da göz atmalısınız.

Küresel veya statik verilerinize özellikle bakmalısınız (uzun ömürlü veriler).

Bu veriler kısıtlama olmadan büyüdüğünde, Python'da da sorun yaşayabilirsiniz.

Çöp toplayıcı yalnızca artık referans alınmayan verileri toplayabilir. Ancak statik verileriniz, serbest bırakılması gereken veri öğelerini birleştirebilir.

Başka bir sorun bellek döngüleri olabilir, ancak en azından teoride Çöp toplayıcı döngüleri bulmalı ve ortadan kaldırmalıdır - en azından bazı uzun yaşayan verilere bağlı olmadıkları sürece.

Ne tür uzun ömürlü veriler özellikle zahmetlidir? Herhangi bir liste ve sözlüklere iyi bakın - sınırsız büyüyebilirler. Sözlüklerde, diktelere eriştiğinizde, sözlükteki anahtarların sayısı sizin için çok fazla görünmeyebileceğinden, gelen sorunu göremeyebilirsiniz bile ...

Örneğin, üretim ortamlarında uzun süren işlemlerde bellek sızıntılarını tespit etmek ve bulmak için yığın etkisini kullanabilirsiniz . Altında tracemalloc kullanır . Bu yayında daha fazla bilgi .

En iyi uygulamalara gelince, özyinelemeli işlevlere dikkat edin. Benim durumumda (burada olması gerekmedi) özyineleme ile ilgili sorunlar koştu. Ne yaptığımın basitleştirilmiş bir örneği:

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    if my_flag:  # restart the function if a certain flag is true
        my_function()

def main():
    my_function()

bu özyinelemeli şekilde çalışmak çöp toplamayı tetiklemez ve işlevin kalıntılarını temizlemez, bu nedenle bellek kullanımıyla her seferinde büyür ve büyür.

Benim çözümüm özyinelemeli çağrımı my_function () 'den çıkarmak ve tekrar çağırmak için main () tutamacına sahip olmaktı. bu şekilde işlev doğal olarak sona erer ve kendinden sonra temizlenir.

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    .....
    return my_flag

def main():
    result = my_function()
    if result:
        my_function()

Python'da bellek sızıntıları için "En İyi Uygulamalar" konusunda emin değilim, ancak python çöp toplayıcısı tarafından kendi belleğini temizlemelidir. Bu yüzden esasen çöp toplayıcı tarafından alınamayacağı için kısa listelerin dairesel listesini kontrol ederek başlayacağım.

Bu kesinlikle kapsamlı bir tavsiye değildir. Ancak, gelecekteki bellek sızıntılarından (döngüler) kaçınma düşüncesi ile yazarken akılda tutulması gereken bir numaralı şey, bir geri aramaya referans kabul eden herhangi bir şeyin bu geri aramayı zayıf bir referans olarak saklaması gerektiğinden emin olmaktır.