Python ile devasa bir CSV'nin işlenmesi aniden durduğunda 'öldürülmüş' ne demektir?

Büyük bir CSV dosyasını içe aktaran ve ardından dosyadaki her kelimenin geçtiği sayıları sayan, ardından sayıları başka bir CSV dosyasına aktaran bir Python komut dosyam var.

Ama olan şu ki, bu sayım kısmı bitip ihracat başladığında Killedterminalde diyor .

Bunun bir hafıza sorunu olduğunu sanmıyorum (eğer öyleyse bir hafıza hatası alacağımı ve almayacağımı varsayarsam Killed).

Süreç çok uzun sürüyor olabilir mi? Öyleyse, zaman aşımı süresini uzatmanın bir yolu var mı?

İşte kod:

csv.field_size_limit(sys.maxsize)
    counter={}
    with open("/home/alex/Documents/version2/cooccur_list.csv",'rb') as file_name:
        reader=csv.reader(file_name)
        for row in reader:
            if len(row)>1:
                pair=row[0]+' '+row[1]
                if pair in counter:
                    counter[pair]+=1
                else:
                    counter[pair]=1
    print 'finished counting'
    writer = csv.writer(open('/home/alex/Documents/version2/dict.csv', 'wb'))
    for key, value in counter.items():
        writer.writerow([key, value])

Ve yazdırıldıktan Killedsonra olur finished countingve mesajın tamamı:

killed (program exited with code: 137)

Çıkış kodu 137 (128 + 9), programınızdan çıkan sinyal 9 nedeniyle çıkıldığını gösterir SIGKILL. Bu aynı zamanda killedmesajı da açıklıyor . Soru şu ki, bu sinyali neden aldın?

Bunun en olası nedeni, muhtemelen işleminizin, kullanmanıza izin verilen sistem kaynakları miktarında bir sınırı aşmasıdır. İşletim sisteminize ve yapılandırmanıza bağlı olarak bu, çok fazla açık dosyanız olduğu, çok fazla dosya sistemi alanı veya başka bir şey kullandığınız anlamına gelebilir. Büyük olasılıkla programınız çok fazla bellek kullanıyordu. Bellek ayırmaları başarısız olmaya başladığında işlerin kırılma riskini almak yerine, sistem çok fazla bellek kullanan işleme bir sonlandırma sinyali gönderdi.

Daha önce de belirttiğim gibi, yazdırdıktan sonra bir bellek sınırına ulaşmanızın bir nedeni , son döngünüzdeki finished countingçağrınızın counter.items()sözlüğünüzdeki tüm anahtarları ve değerleri içeren bir liste ayırmasıdır. Sözlüğünüzde çok fazla veri varsa, bu çok büyük bir liste olabilir. Olası bir çözüm counter.iteritems(), bir jeneratör olanı kullanmak olacaktır . Bir listedeki tüm öğeleri döndürmek yerine, çok daha az bellek kullanımıyla bunların üzerinde yineleme yapmanızı sağlar.

Bu yüzden, son döngünüz olarak şunu denemenizi öneririm:

for key, value in counter.iteritems():
    writer.writerow([key, value])

Python 3'te, itemsPython 2'nin sürümüyle aynı ek yüke sahip olmayan bir "sözlük görünümü" nesnesi döndürdüğüne dikkat edin. Yerini alır iteritems, böylece daha sonra Python sürümlerini yükseltirseniz, döngüyü eski haline geri döndürürsünüz.

İlgili iki depolama alanı vardır: yığın ve yığın. Yığın, bir yöntem çağrısının mevcut durumunun (yani yerel değişkenler ve referanslar) tutulduğu yerdir ve yığın, nesnelerin depolandığı yerdir. özyineleme ve hafıza

Tahminimde counteryığın bölgesinin çok fazla belleğini tüketecek çok fazla anahtar var , bu yüzden Python çalışma zamanı bir OutOfMemory yükseltecek istisnası oluşturacaktır.

Kaydetmek için devasa bir nesne oluşturmayın, örneğin tezgah .

1. Yığın Taşması

çok fazla yerel değişken oluşturan bir program.

Python 2.7.9 (default, Mar  1 2015, 12:57:24) 
[GCC 4.9.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> f = open('stack_overflow.py','w')
>>> f.write('def foo():\n')
>>> for x in xrange(10000000):
...   f.write('\tx%d = %d\n' % (x, x))
... 
>>> f.write('foo()')
>>> f.close()
>>> execfile('stack_overflow.py')
Killed

2.OutOfMemory

Dev yaratan bir program dictçok fazla anahtar içerir.

>>> f = open('out_of_memory.py','w')
>>> f.write('def foo():\n')
>>> f.write('\tcounter = {}\n')
>>> for x in xrange(10000000):
...   f.write('counter[%d] = %d\n' % (x, x))
... 
>>> f.write('foo()\n')
>>> f.close()
>>> execfile('out_of_memory.py')
Killed

• 7. Bellek: Yığın ve Yığın
• özyineleme ve hafıza

Büyük ihtimalle hafızanız tükendi, bu nedenle Çekirdek sürecinizi öldürdü.

OOM Katilini duydun mu mu?

CSV dosyalarından çok sayıda veriyi işlemek için geliştirdiğim bir komut dosyasından bir günlük:

Mar 12 18:20:38 server.com kernel: [63802.396693] Out of memory: Kill process 12216 (python3) score 915 or sacrifice child
Mar 12 18:20:38 server.com kernel: [63802.402542] Killed process 12216 (python3) total-vm:9695784kB, anon-rss:7623168kB, file-rss:4kB, shmem-rss:0kB
Mar 12 18:20:38 server.com kernel: [63803.002121] oom_reaper: reaped process 12216 (python3), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

... 'dan alındı /var/log/syslog .

Temel olarak:

PID 12216 kurban olarak seçildi (+ 9Gb toplam vm kullanması nedeniyle), bu yüzden oom_killer bunu biçti .

İşte OOM davranışı hakkında bir makale .

Uzun bir zaman aldığı için herhangi bir şeyin süreci öldürdüğünden şüpheliyim. Killed, genel olarak dışarıdan bir şeyin işlemi sonlandırdığı anlamına gelir, ancak muhtemelen bu durumda Ctrl-C'ye basmak değil, çünkü bu Python'un bir KeyboardInterrupt istisnasında çıkmasına neden olur. Ayrıca, Python'da sorun buysa MemoryError istisnası alırsınız. Olan şey, Python'da veya standart kitaplık kodunda işlemin çökmesine neden olan bir hataya çarpmanız olabilir.

VirtualBoxYeni Ubuntu 20.04 LTS'de paylaşılan bir klasörden bir python betiği çalıştırmaya çalıştığımda da aynısını yaşadım . Python, Killedkendi kişisel kitaplığımı yüklerken kurtuldu . Klasörü yerel bir dizine taşıdığımda sorun ortadan kalktı. KilledKlasörü taşıdığımda eksik kitaplıklarla ilgili mesajlar aldığım için durma, kitaplığımın ilk içe aktarımı sırasında gerçekleşmiş gibi görünüyor .

Bilgisayarımı yeniden başlattıktan sonra sorun ortadan kalktı.

Bu nedenle, insanlar bir tür paylaşımın üzerinde ise programı yerel bir dizine taşımayı deneyebilir veya bu, işletim sisteminin yeniden başlatılmasını gerektiren geçici bir sorun olabilir.