Veritabanınız olarak NoSQL (MongoDB) vs Lucene (veya Solr)

Belge tabanlı veritabanlarına dayalı olarak büyüyen NoSQL hareketi ile son zamanlarda MongoDB'ye baktım. Lucene'nin (ve Solr kullanıcılarının) yaptığı gibi, "Belgeler" olarak nasıl davranılacağına dair çarpıcı bir benzerlik fark ettim.

Peki, soru: Neden NoSQL'i (MongoDB, Cassandra, CouchDB, vb.) Lucene (veya Solr) üzerinde "veritabanı" olarak kullanmak istersiniz?

Ben bir cevapta aradığım (ve başkalarının da olduğundan emin olduğum) onların derin dalış karşılaştırmalarıdır. İlişkisel veritabanı tartışmalarını farklı bir amaca hizmet ettikleri için birlikte atlayalım.

Lucene, güçlü arama ve ağırlık sistemleri gibi bazı ciddi avantajlar sağlar. Solr'daki yönlerden bahsetmiyorum (Solr yakında Lucene'ye entegre edilecek, yay!). Kimlikleri saklamak ve tıpkı MongoDB gibi belgelere erişmek için Lucene belgelerini kullanabilirsiniz. Solr ile karıştırın ve şimdi WebService tabanlı, yük dengeli bir çözüm elde edersiniz.

Benzer veri depolama ve MongoDB'nin ölçeklenebilirliği hakkında konuşurken Velocity veya MemCached gibi proc-proc önbellek sağlayıcılarının bir karşılaştırmasını bile yapabilirsiniz.

MongoDB ile ilgili kısıtlamalar MemCached'i kullanmamı hatırlatıyor, ancak Microsoft'un Hızını kullanabilir ve MongoDB üzerinde daha fazla gruplama ve liste toplama gücüne sahip olabilirim (sanırım). Bellekteki verileri önbelleğe almaktan daha hızlı veya ölçeklenebilir olamaz. Lucene'nin bile bir bellek sağlayıcısı var.

MongoDB (ve diğerleri), API'lerinin kullanım kolaylığı gibi bazı avantajlara sahiptir. Bir belge oluşturun, bir kimlik oluşturun ve saklayın. Bitti. Güzel ve kolay.

Bu harika bir soru, biraz düşündüğüm bir şey. Öğrenilen derslerimi özetleyeceğim:

1. Lucene / Solr'u hemen hemen tüm durumlar için MongoDB yerine kolayca kullanabilirsiniz, ancak bunun tersi de mümkün değildir. Grant Ingersoll'un gönderisi burada özetliyor.

2. MongoDB vb., Arama ve / veya faceting gerekmediği bir amaca hizmet ediyor gibi görünmektedir. RDBMS dünyasından detoks yapan programcılar için daha basit ve tartışmasız daha kolay bir geçiş gibi görünüyor. Birisi buna alışmadıkça Lucene & Solr daha dik bir öğrenme eğrisine sahiptir.

3. Lucene / Solr'i bir veri deposu olarak kullanmanın pek bir örneği yok, ancak Guardian bir yol kat etti ve bunu mükemmel bir slayt güvertesinde özetledi , ancak onlar da Solr bandwagonuna tamamen atlamak ve Solr'ı birleştirerek "araştırmak" konusunda kararsız değiller CouchDB ile.

4. Son olarak, deneyimlerimizi sunacağım, maalesef iş vakası hakkında çok fazla bilgi veremem. Gerçek zamanlıya yakın bir uygulama olan birkaç TB veri ölçeği üzerinde çalışıyoruz. Çeşitli kombinasyonları araştırdıktan sonra Solr. Şimdiye kadar pişmanlık yok (6 ay ve sayım) ve başka birine geçmek için hiçbir neden görmüyorum.

Özet: bir arama gereksiniminiz yoksa, Mongo basit ve güçlü bir yaklaşım sunar. Bununla birlikte, arama teklifinizin anahtarı ise, muhtemelen bir teknolojiye (Solr / Lucene) bağlı kalmanız ve halkı optimize etmeniz daha iyi olur - daha az hareketli parça.

Benim 2 sent, umarım yardımcı oldu.

Solr'da bir belgeyi kısmen güncelleyemezsiniz. Bir belgeyi güncellemek için tüm alanları yeniden göndermeniz gerekir.

Ve performans önemlidir. Taahhüt etmezseniz, solr'daki değişikliğiniz etkili olmaz, her seferinde taahhüt ederseniz performans düşer.

Solr'da işlem yok.

Solr bu dezavantajlara sahip olduğundan, bazen nosql daha iyi bir seçimdir.

MongoDB ve Solr'ı birlikte kullanıyoruz ve iyi performans gösteriyorlar. Blog yayınımı burada bu teknolojileri birlikte nasıl kullandığımızı açıkladığım yerde bulabilirsiniz . İşte bir alıntı:

[...] Ancak, dizin boyutu arttıkça Solr'un sorgu performansının düştüğünü gözlemliyoruz. En iyi çözümün hem Solr hem de Mongo DB'yi birlikte kullanmak olduğunu fark ettik. Ardından, içeriği MongoDB'ye depolayarak ve tam metin araması için Solr kullanarak dizin oluşturarak Solr'ı MongoDB ile entegre ediyoruz. Her belge için benzersiz kimliği yalnızca Solr dizininde saklıyoruz ve Solr'da arama yaptıktan sonra gerçek içeriği MongoDB'den alıyoruz. MongoDB'den belge almak Solr'dan daha hızlıdır çünkü analizör, puanlama vb. Yoktur. [...]

Ayrıca, bazı kişilerin tüm endekslerin Solr'da depolanmasını sağlayarak ve ayrıca oplog işlemlerini izleyerek ve ilgili güncellemeleri Solr'a basamaklayarak Solr / Lucene'yi Mongo'ya entegre ettiğini lütfen unutmayın.

Bu hibrit yaklaşımla, tam metin araması ve hızlı okuma gibi yetenekleri ile her iki dünyanın da en iyisine sahip olabilirsiniz.

Kurulumu biraz teknik ama solr ile entegre olabilen birçok oplog döşeme var. Bu makalede hangi menzilin yapıldığına bakın.

http://denormalised.com/home/mongodb-pub-sub-using-the-replication-oplog.html

Her ikisiyle de yaşadığım deneyime göre, Mongo basit, basit kullanım için mükemmeldir. Yaşadığımız ana Mongo dezavantajı, beklenmedik sorgular üzerindeki düşük performanstır (tüm olası filtre / sıralama kombinasyonları için mongo dizinleri oluşturamazsınız, basit yapamazsınız).

Ve burada Lucene / Solr'un özellikle FilterQuery önbelleklemesi ile büyük zaman kazandığı Performans olağanüstü.

Hiç kimse bundan bahsetmediği için, MongoDB'nin şema içermediğini eklememe izin verirken Solr bir şemayı zorlar. Dolayısıyla, belgelerinizin alanlarının değişmesi muhtemelse, Solr yerine MongoDB'yi seçmenin bir nedeni budur.

@ mauricio-scheffer Solr 4'ten bahsetti - bununla ilgilenenler için LucidWorks Solr 4'ü "NoSQL Arama Sunucusu" olarak tanımlıyor ve http://www.lucidworks.com/webinar-solr-4-the-nosql adresinde bir video var -search-server / burada NoSQL (ish) özellikleri hakkında ayrıntılı bilgi verir. (-İsh şematik olanın aslında dinamik bir şema olduğu için.)

Yalnızca anahtar / değer biçimini kullanarak veri depolamak istiyorsanız, tersine çevrilmiş dizini çok fazla disk alanı harcayacağından Lucene önerilmez. Diskteki veri tasarrufu ile performansı redis gibi NoSQL veritabanlarından çok daha yavaştır, çünkü redis verileri RAM'e kaydeder. Lucene için en büyük avantaj, sorguların çoğunu desteklemesidir, bu nedenle bulanık sorgular desteklenebilir.

Mongo op-log kuyruğu gibi üçüncü taraf çözümleri caziptir. Bir geliştirme / mimari perspektifi varsayarak çözümlerin sıkı bir şekilde entegre edilip edilemeyeceğine dair bazı düşünceler veya sorular devam etmektedir. Birkaç nedenden dolayı bu özellikler için sıkı bir şekilde bütünleşmiş bir çözüm görmeyi beklemiyorum (biraz spekülatif ve açıklığa tabi ve geliştirme çabalarıyla güncel değil):

• mongo c ++, lucene / solr java
  • belki lucene bazı mongo libs kullanabilir
  • belki mongo bazı lucene algoritmalarını yeniden yazabilir, ayrıca bkz:
    • http://clucene.sourceforge.net/
    • http://lucy.apache.org/
• lucene çeşitli belge formatlarını destekler
  • mongo JSON'a (BSON) odaklanmıştır
• lucene değişmez belgeler kullanıyor
  • Tek alanlı güncellemeler varsa kullanılabilir
• lucene endeksleri karmaşık birleştirme operasyonları ile değişmez
• mongo sorguları javascript
• mongo'nun metin çözümleyicisi / belirteçleri yoktur (AFAIK)
• mongo doc boyutları sınırlı, lucene için tahıl karşı gidebilir
• mongo toplama operasyonunun lucene'de yeri olmayabilir
  • lucene, alanları dokümanlar arasında saklama seçeneklerine sahiptir, ancak bu aynı şey değildir
  • solr bir şekilde toplama / istatistik ve SQL / grafik sorguları sağlar

MongoDB Atlas yakında lucene tabanlı bir arama motoruna sahip olacak. Büyük duyuru bu haftanın MongoDB World 2019 konferansında yapıldı. Bu, yüksek gelirli MongoDB Atlas ürününün daha fazla kullanılmasını teşvik etmenin harika bir yoludur.

MongoDB Enterprise sürüm 4.2'ye eklendiğini umuyordum, ancak şirket içi ürün serisine getirme haberi yoktu.

Daha fazla bilgi burada: https://www.mongodb.com/atlas/full-text-search