Lucene aramanın nasıl bu kadar hızlı çalıştığını öğrenmek istiyorum. Web'de herhangi bir yararlı belge bulamıyorum. Okuyacak bir şeyiniz varsa (lucene kaynak kodu dışında), bana bildirin.
Dizin ile mysql5 metin aramasını kullanan bir metin arama sorgusu benim durumumda yaklaşık 18 dakika sürer. Aynı sorgu için bir lucene araması bir saniyeden az sürer.
Yanıtlar:
Lucene, ters çevrilmiş bir tam metin dizindir. Bu, tüm belgeleri aldığı, kelimelere ayırdığı ve ardından her kelime için bir dizin oluşturduğu anlamına gelir . İndeks tam bir dizgi eşleşmesi olduğundan, sırasız olduğundan, son derece hızlı olabilir. Varsayımsal olarak, bir varcharalandaki SQL sırasız indeksi de aynı derecede hızlı olabilir ve aslında büyük veritabanlarının bu durumda basit bir dizgi eşitliği sorgusunu çok hızlı bir şekilde yapabileceğini bulacağınızı düşünüyorum.
Lucene, işlem gerçekleştirme için optimizasyon yapmak zorunda değildir. Bir belge eklediğinizde, sorguların onu anında görmesini sağlamasına gerek yoktur . Ve mevcut belgelerdeki güncellemeler için optimize etmesi gerekmez.
Ancak günün sonunda gerçekten bilmek istiyorsanız kaynağı okumanız gerekir. Sonuçta, referans verdiğiniz her iki şey de açık kaynak.
Lucene büyük bir endeks yaratır. Dizin, kelime kimliğini, kelimenin bulunduğu doküman sayısını ve kelimenin bu dokümanlardaki konumunu içerir. Yani tek bir kelime sorgusu verdiğinizde, sadece indeksi (O (1) zaman karmaşıklığı) arar. Daha sonra sonuç farklı algoritmalar kullanılarak sıralanır. Çok kelimeli sorgu için, kelimelerin bulunduğu dosya kümesinin kesişimini almanız yeterlidir. Bu yüzden Lucene çok çok hızlı.
Daha fazla bilgi için Google geliştiricilerinin hazırladığı bu makaleyi okuyun - http://infolab.stanford.edu/~backrub/google.html
Tek kelimeyle: indeksleme.
Lucene, belgenizin çok daha hızlı arama yapmasına izin veren bir dizin oluşturur.
Liste O (N) veri yapısı ile karma tablo O (1) veri yapısı arasındaki aynı farktır. Listenin, istediğinizi bulmak için tüm koleksiyon boyunca gezinmesi gerekir. Karma tablo, istenen öğenin tam olarak nerede olduğunu bulmasını ve basitçe getirmesini sağlayan bir dizine sahiptir.
Güncelleme:
"Lucene dizin aramaları mysql dizin aramalarından çok daha hızlı" derken ne demek istediğinizden emin değilim.
Benim tahminim, bir belgeyi aramak için "belge GİBİ '% ifade%'" olarak MySQL kullanıyorsunuz. Bu doğruysa, MySQL her satırda O (N) olacak bir tablo taraması yapmak zorundadır.
Lucene, belgeyi jetonlara ayırır, bunları sizin yönünüzde n-gram olarak gruplandırır ve bunların her biri için dizinleri hesaplar. Dizine alınmış Lucene belgesinde bir kelime bulmak O (1).
Lucene, Terim frekansı ve Ters belge frekansı ile çalışır . Belge ile her kelimeyi eşleyen bir dizin oluşturur ve belgedeki ters dizinden başka bir şey olmayan sıklık sayısıdır.
Örnek :
Dosya 1: Rasgele Erişim Belleği ana bellektir.
Dosya 2: Sabit diskler ikincil bellektir.
Lucene bir ters indeks oluşturur.
Dosya 1:
Terim: Rastgele
Frekans: 1
Pozisyon: 0
Terim: Bellek
Frekans: 2
Pozisyon: 3
Pozisyon: 6
Böylece aranan içeriği hızlı bir şekilde arayabilir ve alabilir. Arama sorgusu için çok fazla eşleşme olduğunda, sonucu ağırlığa göre verir. 4 kelimeyi tek tek aradığı "Ana Bellek" arama sorgusunu düşünün ve sonuç şöyle olacaktır:
Ana
Dosya 1: Frekans - 1
Hafıza
Dosya 1: Frekans - 2
Dosya 2: Frekans - 1
Sonuç, Dosya1 ve ardından Dosya2 olur . 'Ve', 'veya' gibi en yaygın sözcüklerin ağırlıklarına kapılmamak için ',' ters belge sıklığını dikkate alır (yani 'belge seti arasında en popüler olan sözcüğün ağırlığını azaltır).