Bir proje için bellek eşlemeli dosyaları araştırıyorum ve bunları daha önce kullanmış veya kullanmamaya karar vermiş kişilerin düşüncelerini takdir ediyorum ve neden?
Özellikle, önem sırasına göre aşağıdakilerle ilgileniyorum:
Yanıtlar:
Bence avantaj, geleneksel bir dosya okuma yöntemlerine göre gereken veri kopyalama miktarını azaltmanızdır.
Uygulamanız verileri bellek eşlemeli bir dosyada "yerinde" kullanabiliyorsa, kopyalanmadan içeri girebilir; Bir sistem çağrısı (örneğin Linux'un pread ()) kullanıyorsanız, bu genellikle çekirdeğin verileri kendi tamponlarından kullanıcı alanına kopyalamasını içerir. Bu fazladan kopyalama sadece zaman almakla kalmaz, aynı zamanda verilerin bu ekstra kopyasına erişerek CPU önbelleklerinin etkinliğini azaltır.
Verilerin gerçekten diskten okunması gerekiyorsa (fiziksel G / Ç'de olduğu gibi), işletim sistemi hala bunları okumak zorundadır, bir sayfa hatası muhtemelen bir sistem çağrısından daha iyi bir performans değildir, ancak yapmayın (yani zaten işletim sistemi önbelleğinde), performans teoride çok daha iyi olmalıdır.
Olumsuz tarafı, bellek eşlemeli dosyalar için eşzamansız bir arabirim yoktur - eşlenmemiş bir sayfaya erişmeye çalışırsanız, bir sayfa hatası oluşturur ve ardından iş parçacığı G / Ç'yi bekletir.
Bellek eşlemeli dosyaların bariz dezavantajı, 32 bit işletim sistemindedir - adres alanını kolayca tüketebilirsiniz.
Kullanıcı yazarken bir 'otomatik tamamlama' özelliğini uygulamak için bellek eşlemeli bir dosya kullandım. Tek bir dizin dosyasında depolanan 1 milyondan fazla ürün parça numaram var. Dosya bazı tipik başlık bilgilerine sahiptir, ancak dosyanın büyük kısmı, anahtar alanında sıralanan dev bir sabit boyutlu kayıt dizisidir.
Çalışma zamanında dosya bellek eşlenir, C-tipli bir structdiziye dönüştürülür ve kullanıcı türü olarak eşleşen parça numaralarını bulmak için ikili arama yaparız. Dosyanın yalnızca birkaç bellek sayfası aslında diskten okunur - ikili arama sırasında hangi sayfalara ulaşılırsa bakılır.
consuming physical memory to load the entire file was not a good solution. Neden fiziksel bellekle ilgilendiğinizden emin değilim (bir dosyanın byteBuffer'a yüklenmesi daha fazla fiziksel bellek gerektirir mi? Bu bir işletim sistemi detayıdır). mmap, sanal bellekteki tüm bu alanı kaplar ve bir dosyayı ihtiyacınız olan belirli baytlara göre okumak gerekmez. the swinebahsedilen But strictly speaking, i believe that traditional seeking/reading would be better in here.. Bu ilginç bir düşünce, çünkü o zaman tam anlamıyla ihtiyacınız olan baytları ihtiyaç duyduğunuzda okuyabilirsiniz.
Bellek eşlemeli dosyalar, okuma / yazma erişimini değiştirmek veya eşzamanlı paylaşımı desteklemek için kullanılabilir. Bunları bir mekanizma için kullandığınızda, diğerini de elde edersiniz.
Bir dosyada aramak, yazmak ve okumak yerine, onu belleğe eşlersiniz ve sadece olmasını beklediğiniz bitlere erişirsiniz.
Bu çok kullanışlı olabilir ve sanal bellek arayüzüne bağlı olarak performansı artırabilir. Performans artışı, işletim sisteminin artık diğer tüm programlı bellek erişiminizle birlikte bu eski "dosya G / Ç'sini" yönetmesi ve (teoride) disk belleği algoritmalarından yararlanabilmesi ve bunun için zaten kullandığı programınızın geri kalanı için sanal bellek . Bununla birlikte, temeldeki sanal bellek sisteminizin kalitesine bağlıdır. Anekdotlar, Solaris ve * BSD sanal bellek sistemlerinin, Linux'un VM sisteminden daha iyi performans iyileştirmeleri gösterebileceğini söyledi - ancak bunu yedekleyecek deneysel veriye sahip değilim. YMMV.
Eşzamanlılık, eşlenmiş bellek aracılığıyla aynı "dosyayı" kullanan birden çok işlemin olasılığını düşündüğünüzde ortaya çıkıyor. Okuma / yazma modelinde, iki işlem dosyanın aynı alanına yazarsa, işlem verilerinden birinin diğer işlemin verilerinin üzerine yazarak dosyaya ulaşacağından hemen hemen emin olabilirsiniz. Birini ya da diğerini alırsınız - ama tuhaf bir karışım olmaz. İtiraf etmeliyim ki, bunun herhangi bir standart tarafından zorunlu kılınan bir davranış olup olmadığından emin değilim, ama bu hemen hemen güvenebileceğiniz bir şey. (Aslında iyi bir takip sorusu!)
Haritalanan dünyada, bunun tersine, iki süreci de "yazarken" hayal edin. Bunu "bellek depoları" yaparak yaparlar, bu da verilerin en sonunda diske O / S sayfalanmasına neden olur. Ancak bu arada, çakışan yazıların olması beklenebilir.
İşte bir örnek. Diyelim ki her ikisi de 1024 ofsette 8 bayt yazan iki işlemim var. İşlem 1 '11111111' yazıyor ve işlem 2 '22222222' yazıyor. Dosya G / Ç kullanıyorlarsa, O / S'nin derinliklerinde, 1'lerle dolu bir tampon ve her ikisi de diskte aynı yere giden 2'lerle dolu bir tampon olduğunu hayal edebilirsiniz. Biri oraya önce, diğeri saniye sonra gidecek. Bu durumda ikincisi kazanır. Bununla birlikte , bellek eşlemeli dosya yaklaşımını kullanıyorsam, işlem 1 4 baytlık bir bellek deposuna, ardından 4 baytlık başka bir bellek deposuna gidecek (bunun maksimum bellek depolama boyutu olmadığını varsayalım). İşlem 2 aynı şeyi yapacak. İşlemlerin ne zaman çalıştığına bağlı olarak, aşağıdakilerden herhangi birini görmeyi bekleyebilirsiniz:
11111111
22222222
11112222
22221111
Bunun çözümü, her halükarda muhtemelen iyi bir fikir olan açık karşılıklı dışlamayı kullanmaktır. Her halükarda, okuma / yazma dosyası G / Ç durumunda "doğru şeyi" yapması için O / S'ye güveniyordunuz.
Sınıflandırma karşılıklı dışlama ilkeli mutekstir. Bellek eşlemeli dosyalar için, (örneğin) pthread_mutex_init () kullanılarak kullanılabilen bellek eşlemeli bir mutekse bakmanızı öneririm.
Tek bir aldatmaca ile düzenleme: Eşlenen dosyaları kullanırken, dosyadaki verilere işaretçileri dosyanın kendisinde gömmek için bir cazibe vardır (eşlenen dosyada depolanan bağlantılı listeyi düşünün). Dosya, farklı zamanlarda veya farklı işlemlerde farklı mutlak adreslerde eşlenebileceğinden, bunu yapmak istemezsiniz. Bunun yerine, eşlenen dosya içinde ofsetleri kullanın.
Eşzamanlılık bir sorun olabilir. Rastgele erişim daha kolaydır Performans, iyi ile harika arasıdır. Kullanım kolaylığı. O kadar iyi değil. Taşınabilirlik - çok sıcak değil.
Onları uzun zaman önce bir Güneş sisteminde kullandım ve bunlar benim düşüncelerim.