Python segmentasyon hatasına ne sebep olur?

Kosaraju'nun Strong Connected Component (SCC) grafik arama algoritmasını Python'da uyguluyorum.

Program küçük veri kümelerinde harika çalışıyor, ancak onu süper büyük bir grafikte (800.000'den fazla düğüm) çalıştırdığımda "Segmentasyon Hatası" diyor.

Nedeni ne olabilir? Teşekkür ederim!

Ek Bilgi: İlk önce süper büyük veri kümesinde çalışırken bu Hatayı aldım:

"RuntimeError: maximum recursion depth exceeded in cmp"

Sonra yineleme sınırını kullanarak sıfırladım

sys.setrecursionlimit(50000)

ancak "Segmentasyon hatası" var

İnanın bana bu sonsuz bir döngü değil, nispeten daha küçük verilerde doğru çalışıyor. Program kaynakları tüketmiş olabilir mi?

Bu, bir python uzantısı (C ile yazılmış) erişilemeyen bir belleğe erişmeye çalıştığında gerçekleşir.

Aşağıdaki şekillerde takip edebilirsiniz.

• sys.settraceKodun ilk satırına ekleyin .

• Kullanım gdbtarif ettiği Mark içinde bu cevap komut isteminde ..

  gdb python
  (gdb) run /path/to/script.py
  ## wait for segfault ##
  (gdb) backtrace
  ## stack trace of the c code
  

Sorununuzu çözdüğünüzü anlıyorum, ancak bu konuyu okuyan diğerleri için cevap şudur: işletim sisteminizin python işlemi için ayırdığı yığını artırmanız gerekir.

Bunu yapmanın yolu işletim sistemine bağlıdır. Linux'ta ulimit -smevcut değerinizi komutu ile kontrol edebilir ve onu yükseltebilirsiniz.ulimit -s <new_value>

Önceki değeri iki katına çıkarmayı deneyin ve çalışmıyorsa, hafızası biten veya biten bir değer bulana kadar ikiye katlamaya devam edin.

Segmentasyon hatası genel bir hatadır, bunun birçok olası nedeni vardır:

• Düşük bellek
• Hatalı Ram belleği
• Bir sorgu kullanarak veritabanından büyük bir veri kümesi getirme (getirilen verilerin boyutu, takas belleğinden fazlaysa)
• yanlış sorgu / hatalı kod
• uzun döngüye sahip (çoklu özyineleme)

Ulimit'i güncellemek, hem Python (Python segfault .. kim biliyordu!) Hem de C ++ uygulamalarındaki segfault'u düzelterek Kosaraju'nun SCC uygulaması için çalıştı.

MAC'im için olası maksimum değeri şu yolla buldum:

$ ulimit -s -H
65532

Google arama bana bu makaleyi buldu ve aşağıdaki "kişisel çözümün" tartışıldığını görmedim.

Linux için Windows Alt Sisteminde Python 3.7 ile ilgili son sıkıntım şudur: aynı Pandas kitaplığına sahip iki makinede biri bana segmentation fault, diğeri raporlar uyarıyor. Hangisinin daha yeni olduğu belli değildi, ancak "yeniden yükleme" pandassorunu çözdü.

Buggy makinesinde koştuğumu emredin.

conda install pandas

Daha fazla ayrıntı: Aynı komut dosyalarını çalıştırıyordum (Git aracılığıyla senkronize edildi) ve her ikisi de WSL + Anaconda ile Windows 10 makinesi. Davayı yapmak için ekran görüntülerine gidin. Ayrıca, komut satırının pythonşikayet edeceği makinede Segmentation fault (core dumped)Jupyter laboratuvarı, çekirdeği her seferinde yeniden başlatır. Daha da kötüsü, hiçbir uyarı yapılmadı.

Birkaç ay sonra güncellemeler: Jupyter sunucularını Windows makinesinde barındırmayı bıraktım. Şimdi bir Linux sunucusunda açılan uzak bağlantı noktalarını getirmek ve tüm işlerimi uzak Linux makinesinde çalıştırmak için Windows'ta WSL kullanıyorum. Birkaç aydır herhangi bir uygulama hatası yaşamadım :)

RPI'da dlib'i yükselttikten sonra bu segmentasyon hatasını yaşıyordum. Yukarıda Shiplu Mokaddim tarafından önerildiği gibi yığını izledim ve bir OpenBLAS kitaplığına yerleştim.

OpenBLAS ayrıca çok iş parçacıklı olduğundan, onu çok iş parçacıklı bir uygulamada kullanmak, bölümleme hatasına kadar iş parçacıklarını üssel olarak çoğaltır. Çok iş parçacıklı uygulamalar için OpenBlas'ı tek iş parçacığı moduna ayarlayın.

Python sanal ortamında, OpenBLAS'a düzenleyerek yalnızca tek bir iş parçacığı kullanmasını söyleyin:

    $ workon <myenv>
    $ nano .virtualenv/<myenv>/bin/postactivate

ve Ekle:

    export OPENBLAS_NUM_THREADS=1 
    export OPENBLAS_MAIN_FREE=1

Yeniden başlattıktan sonra tüm görüntü tanıma uygulamalarımı daha önce çökmesine neden olan rpi3b'de çalıştırabildim.

referans: https://github.com/ageitgey/face_recognition/issues/294

Görünüşe göre yığın hafızanız yetersiz. Davide'in söylediği gibi arttırmak isteyebilirsiniz. Bunu python kodunda yapmak için, "main ()" inizi threading kullanarak çalıştırmanız gerekir:

def main():
    pass # write your code here

sys.setrecursionlimit(2097152)    # adjust numbers
threading.stack_size(134217728)   # for your needs

main_thread = threading.Thread(target=main)
main_thread.start()
main_thread.join()

Kaynak: c1729'un kod kuvvetleri hakkındaki gönderisi . PyPy ile çalıştırmak biraz daha zordur .