Google neden bir sabit sürücü aramasından çok daha hızlı?

HD'mdeki bir dosyayı Windows 7 veya Windows XP'de aradığımda işlemi tamamlamak birkaç dakika sürüyor. Google’da bir arama terimi doldurursam, cevap ekranımda milisaniye cinsinden

Google’ın, sabit diskimden çoğu zaman büyük olan İnternet’i bilgisayarımda arama yapabildiğinden daha hızlı olan Internet’te araması nasıl mümkün olabilir? Bu sadece bilgi işlem gücü ve doğru algoritma meselesi midir?

Google internette arama yapmıyor: bir endeks arıyor. Google, interneti sürekli tarayan ve dizine ekleyen devasa sunucu çiftliklerine sahiptir. Bu işlem, tıpkı dizinsiz sabit sürücünüzün araması gibi, çok zaman alır. Windows 7'de, sabit sürücülerinizi dizine ekleme seçeneği vardır. Bu işlem ilk başta biraz zaman alabilir, ancak bir kez açılıp bir aramanın sonuçlarının çalıştırılması anında gerçekleşir.

Google aramasının nasıl çalıştığı hakkında daha fazla bilgi edinmek istiyorsanız, Google’ın " Nasıl Arama Çalışır " makalesini veya " Nasıl Çalışır: Google Nasıl Çalışır " makalesini okuyabilirsiniz .

Google, bir adres için sarı sayfalarda arama yapmak gibidir (indekslenmiş). Windows arama, binalardaki sayıları kontrol etme (endeksli olmayan) arasında dolaşmaya benzer.

Başka bir benzetme, iyi organize edilmiş bir kütüphane ve kart kataloğuna bakmak veya sadece her seferinde örgütsüz bir kitap yığınını sıralamak olabilir.

Temelde, onu hızlı yapan aramadan önce yapılan tüm organizasyonel işler.

Bilginize: Dizin oluşturulmuş konumlar aranırken, Windows araması tıpkı yanıt verebilir.

Google’ın işi, arama yapmak (ve Reklamları sunmaktır) ve buna çok odaklanmıştır. Google'ın verinin size çok hızlı bir şekilde gönderilmesini sağlamak için yaptığı birçok şey var:

• Öncelikle , World Wide Web'in kapsamlı bir indeksini oluşturmak için MapReduce ve PageRank kullanır . Bu düzenli olarak güncellenir, böylece sonuçlar taze olur.
• Bu dizin Google’ın birçok sunucusunda dağıtılır ve çoğaltılır
• Sorgunuz, döndürülen sonuçları oluşturmak için birden fazla sunucuya bölünmüştür. Bu işlemin yüksek oranda paralelleştirilmesine izin verir.
• Yaygın sorgular ve sonuçlar önbelleğe alınır ve aramanın gerçekleştirilme ihtiyacını azaltır.

Arama Nasıl Çalışır hakkında daha fazla bilgi için bu bağlantıya göz atın.

Nispeten endeks içermeyen bir sabit sürücü araması, sürücüdeki her dosyayı okumak zorundadır ve bu çok zaman alabilir.

Ek olarak, bir dosya sistemi ve bir dizin olarak ağaç olarak düşünebilirsiniz. Dosya sisteminde ağacın kökü üst düzey klasördür ve o klasörde dallar (klasörler) veya yapraklar (dosyalar) olabilir. Her dal daha fazla klasör için alt dallara sahip olabilir ve daha fazla dosya için bırakabilir. Bu yapıyı araştırmak için aradığınız yaprağı bulmak için bütün dalları (ve alt dalları) 'yürümek' zorundasınız. Bir dizin bu hiyerarşiyi çevreler. Temel alfabe haline gelir ve alt dalların tümü bu konuda daha fazla ayrıntılandırma yapar. Yapraklar, aradığınız öğenin yeridir. Bu yapının aranması, ağacın büyük bölümlerini budamanıza (hariç) koymanıza izin verir (ör. Arama teriminizin ilk harfi, hemen diğer 25 dalı kesmenize olanak sağlar).

Yaklaşık 4 yıl önce kendime de aynı soruyu sordum. Ancak araştırmamı yapmak için uğraşırken, sonunda, en karmaşık arama algoritmalarından bazılarını ve bunların hepsini bulmak için en iyisini ellerinden gelenin en iyisini işe aldıkları gerçeğini okudum.

Kullandıkları kilit tasarımlardan biri de sanırım harita azaltma fikrine benziyor. Çiftlikte ucuz bilgisayarların var. Bu bilgisayarların yalnızca 80 gig sabit disk alanına sahip olmasını sağlayın ve bu bilgisayarlarda yaklaşık 16 g RAM veya daha iyi 32 g RAM olmasını mümkün kılın (mümkün olduğunca). Unutmayın ki tasarladıkları karmaşık sistemlerle birbirine bağlılar. Ancak buradaki ana fikir, bir sorgu gönderildiğinde, RAM'deki yeni verileri aramaya ve denemeye çalışacakları sisteme aktarılmasıdır. Bu ucuz bilgisayarların çoğunda olduklarını unutmayın. Veriler RAM’de olduğundan, sabit diskte olduğundan çok daha hızlı bulunur. Ancak, çok yardımcı olan sofistike (endeksleme ve tüm bu algoritmalar) bir sisteme sahip olduklarını unutmayın.

Ve bu verilerin taze olması gerekmiyor, çünkü hepimiz Google’ın her şeyi sakladığını biliyoruz. RAM'de ne olması gerektiğine, yayılma ağaçları ile aynı prensip kullanılabilir, insanların RAM'de en çok aradıklarını koruyun ve en az aranan şeyleri sabit diske temizleyin.

Bu küçük fikir, endeksleme ve diğerlerinin cevaplarında bahsettiği diğer şeyler ile birleştiğinde, bunun sabit sürücü aramasından daha hızlı olmasının sebeplerinden biri olabilir.

• Diğer aramalara dayanarak tahmin etme gücü.
• Verilerin büyük olasılıkla hepimizin daha hızlı olduğunu bildiği RAM'da.
• Bölmek ve fethetmek için birden fazla sistem kullanın
• Arama onların temel önceliğidir.

Tabii yanılıyor olabilirim, ama bu benim için anlamlıydı. Ve öğrendiklerimle mutlu oldum.

Google, son derece gelişmiş bir indeksleme sistemi, paralel işlemler ve standart bir bağımsız bilgisayar için bulunmayan çok sayıda yük dengeleme tekniği kullanmaktadır. bir web araması ile bir sabit disk dosyası araması arasında gerçekten çok az benzerlik var ve google kendi kullanım durumları için yoğun bir şekilde optimize ediyor.

2004’te, bazı Google çalışanları bir makale yayınladı: MapReduce ve o zamandan bu yana yüzlerce kez düzeldiler .

Ayrıca, Hadoop Dağıtılmış Dosya Sistemi (HDFS) gibi dağıtılmış bir dosya sistemi olan ve dosya amaçları için son derece optimize edilmiş olan Google Dosya Sistemi'ni (GFS) kullanıyorlar. Ayrıca olarak bildiğim kadarıyla, GFS belki bin sefer daha hızlı çalışır HDF'ler .

Ben de bir süre önce bu soruya sahip olduğum için ekleyeceğimi düşündüm ve Google'ın yüzeyde ne yaptığını anlatan harika videolar buldum. İzlemesi ilginç.

Youtube 1'de
Google Youtube 2'de Google

Biraz daha derine iniyor, ancak teknik olarak kaybolacak kadar derin değil.

Şerefe.

Buradaki harika cevaplara bir şey ekliyorum. Google, popüler arama ifadelerini önbelleğe almayı kullanır. Bu aramaların sonuçları bir hafızada bulunur. Bu yüzden, çok aranan bir şeyi ararsanız, sonuçlar hemen hemen görünecektir.

Soruyu basit bir düzeyde cevaplamak için: arkada anahtar kelime indeksli bir ders kitabınız olduğunu hayal edin.

Bir sabit disk aramak (en azından, en azından), kitaptan geçerek, sayfa sayfa, anahtar kelimenizin bir oluşumunu araştırmak için her satırı taramak gibidir.

Bir İnternet arama motoru kullanmak, anahtar kelimeyi dizinde aramak ve ardından doğrudan verdiği sayfa numarasına çevirmek gibidir.

Tabii gerçekte, bundan çok daha karmaşık. Örneğin, sabit diskinizi genellikle İnternet'ten farklı türden bilgiler için ararsınız. Ancak, alınması gereken temel şey, arama motorunun bir dizin kullanmasıdır. Sözcüğü zaten "kitaptan", kelimeden söze geçti ve bu kelimelerin listesini nerede bulacakları ile birlikte bir derleme yaptı ve listeyi içinde çok hızlı bir şekilde araştıracak şekilde düzenledi. .

Örneğin, bir kitaptaki bir dizinin organizasyonu hakkında düşünün. Birincisi, genellikle alfabetik olarak sıralanır ve ikincisi harf başlıklarına sahip olabilir. Dizindeki bir kelimeyi ararken, istediğiniz harfle başlayan kelimelerin listesini hemen görebilirsiniz. Liste sıralandığı için listedeki istediğiniz kelimeyi bulmak veya eksik olup olmadığını hızlıca söylemek kolaydır.

Özetlemek gerekirse, arama motorunun indeksi varken sabit diskinizin bir kitabı varmış gibi. Diğerlerinin de belirttiği gibi, sabit diskinizi endekslemek için yazılım kullanmak mümkündür ve ardından her şey yerine dizini kullanabilirsiniz.

Sanırım Google’ın ortaya çıkmasının Auto Completeve kullanılmasının sebeplerinden biri AJAXde hız sorunu. Şimdi yazarken, kelimeler arka planda gönderilir, böylece henüz işiniz bitmediyse Google işin bir bölümünü yapabilir. Ayrıca indeksler birden fazla kelime kombinasyonuna dayanır (sayfanın altında öneriler olarak bulabileceğiniz). Şu anda ağ hızı sabit sürücülerden daha yüksektir ve muhtemelen bu endekslerin çoğu kendi çiftliğindeki sunucuların RAM'inde bulunur.