Google bot tarafından dizine eklenen on milyonlarca sayfa nasıl edinilir?

Şu anda 8 milyon benzersiz sayfası olan ve hemen yaklaşık 20 milyona ve nihayetinde yaklaşık 50 milyon veya daha fazla büyüyecek bir site geliştiriyoruz.

Eleştirmeden önce ... Evet, benzersiz, kullanışlı içerik sağlar. Sürekli kamu kayıtlarından ve varlık toplamaları ovalama bazı verileri yaparak ham veriyi işlemek ve ilişki haritalama, biz kısmen de eşsiz oldukça yararlı ve olan bir site geliştirerek kaliteli içerik üretmek mümkün oldum nedeniyle genişliği için veri.

Halkla İlişkiler 0 (yeni alan adı, bağlantı yok) ve günde yaklaşık 500 sayfa oranında örümcekleşiyoruz ve bizi bugüne kadar dizine eklenmiş yaklaşık 30.000 sayfaya yerleştiriyoruz. Bu oranda, tüm verilerimizi endekslemek 400 yılı aşkın bir süre alacaktı.

İki sorum var:

1. Endeksleme oranı doğrudan PR ile ilişkili midir ve bu yüzden iyi PR ile eski bir alan satın alarak bizi uygulanabilir bir indeksleme oranına (günde 100.000 sayfa civarında) ulaştıracak kadar korelasyonlu mudur.
2. Endeksleme sürecinin kendisinde yardımcı olan herhangi bir SEO danışmanı var mı? Biz aksi takdirde SEO ile çok iyi yapıyoruz üzerinde çoğunlukla sayfa sayısına bizim başarı menteşeleri endeksli böylece sayfalık özellikle, yanı sıra bizim "uzun kuyruk" anahtar kelime öbekleri için rekabet oldukça düşüktür.

Ana rakibimiz, Alexa 2000-ish sıralamasının yanı sıra, bir yıldan biraz daha uzun bir sürede dizine eklenmiş yaklaşık 20MM sayfa elde etti.

Dikkate değer özellikler var:

• sayfa indirme hızı oldukça iyi (250-500 ms)
• hata yok (örümcek alırken 404 veya 500 hata yok)
• Google web yöneticisi araçlarını kullanıyoruz ve günlük giriş yapıyoruz
• uygun URL'ler mevcut
• Site haritaları göndermekten korkuyorum. Bazı SEO topluluk gönderileri milyonlarca sayfa içeren yeni bir site önermektedir ve hiçbir PR şüphelidir. Matt Cutts'ın , daha fazla incelemeyi önlemek için (videoda yaklaşık 2:30) büyük sitelerin sahnelenmiş bir şekilde yerleştirildiğinden söz eden bir Google videosu var .

• Tıklanabilir site bağlantıları, dört sayfadan daha derin olmayan ve bir sayfadaki en fazla 250 (-ish) dahili bağlantı içeren tüm sayfaları sunar.
• Dahili bağlantılar için metin tutturma mantıklıdır ve ayrıntı sayfalarındaki verilere hiyerarşik olarak uygunluk ekler.
• Tarama hızını daha önce web yöneticisi araçlarında en yüksek değere ayarlamıştık (yalnızca iki saniyede bir sayfa, maks.). Kısa bir süre önce, "Google'ın karar vermesine izin ver" e geri döndüm.

Bazı potansiyel stratejiler:

• Google Web Yöneticisi Araçları, daha yüksek bir tarama hızı istemenizi sağlar. Henüz yapmadıysanız bunu deneyin.
• İçeriğinizin daha fazlasına erişimi iyileştirip iyileştiremeyeceğinizi görmek için gezinme mimarinize bir göz atın. Bir kullanıcının bakış açısından bak: Bir kullanıcının belirli bir bilgi bulması zorsa, arama motorları için de zor olabilir.
• Tutarsız URL parametreleri veya eğik çizgilerin yanlış kullanımı nedeniyle yinelenen içeriğiniz olmadığından emin olun. Yinelenen içeriği kaldırarak Googlebot’un zaten dizine eklediği bir şeyi taramak için harcadığı zamanı azaltmış olursunuz.
• Mümkün olduğunca içeriğinizle ilgili içerik bağlantılarını ve site içi bağlantı kullanın.
• Bağlantılarınızdan bazılarını rastgele seçin. Rastgele dahili içeriğe sahip bir kenar çubuğu kullanmak için harika bir modeldir.
• Tarihleri ​​ve diğer mikro biçimleri kullanın .
• RSS özet akışlarını mümkün olan her yerde kullanın. RSS özet akışları, bir site haritasıyla hemen hemen aynı şekilde çalışır (aslında, Web Yöneticisi Araçları, özet akışını site haritası olarak göndermenize olanak tanır).
• Site haritalarıyla ilgili olarak bu soruya bakın .
• İçeriğinize harici bağlantılar almanın yollarını bulun. Bu, indekslenmesi sürecini hızlandırabilir. İçerik türüne uygunsa, sosyal veya e-posta yoluyla paylaşmayı kolaylaştırmak bu konuda yardımcı olacaktır.
• Verilerinizin ve verilerinize harici bağlantıların kullanımını teşvik etmek için bir API sağlayın. Veri kullanımına ilişkin bir ilişkilendirme bağlantınız olabilir.
• Topluluğu kucakla. Doğru kişilere doğru şekilde ulaşırsanız, bloglar ve Twitter üzerinden harici bağlantılar alırsınız.
• Verilerinizin çevresinde bir topluluk oluşturmanın yollarını arayın. Sosyalleştirmenin bir yolunu bulun. API'lar, mashup'lar, sosyal widget'lar yardımcı olur, ancak bir blog, topluluk vitrinleri, forumlar ve oyun mekaniği de ( bu videoya bakın ).
• Hangi içeriği dizine eklediğinize öncelik verin. Bu kadar veriyle, hepsi kesinlikle hayati olmayacak. Hangi içeriğin en önemli olduğuna ilişkin stratejik bir karar verin, örneğin, en popüler olacak, YG'de en iyi şansı olacak, en yararlı olacak vb. Ve önce içeriğin dizine eklendiğinden emin olun.
• İçeriğinin dizine eklenmesi için rakibinizin ne yaptığının ayrıntılı bir analizini yapın. Site mimarilerine, gezinmelerine, harici bağlantılarına vb. Bakın.

Sonunda şunu söylemeliyim. SEO ve endeksleme, bir işletme sitesi çalıştırmak için sadece küçük parçalardır. SEO uğruna yatırım getirisine odaklanmayın. Google'dan çok fazla trafiğiniz olsa bile, dönüştürememeniz önemli değildir. SEO önemlidir, ancak perspektif içinde tutulması gerekir.

Düzenle :

Kullanım durumunuza ek olarak: her kişi veya işletme için yorum veya referans sunmayı düşünebilirsiniz. Ayrıca, StackOverflow gibi kullanıcı rozetleri vermek, en azından bazı kişileri sitenizdeki kendi profillerine bağlamaya ikna edebilir. Bu, dışarıdaki bazı sayfaların derin sayfalarınıza bağlanmasını teşvik eder, bu da dizine eklenmesi daha hızlı olabilir.

Google bot tarafından dizine eklenen on milyonlarca sayfa nasıl edinilir?

Bir gecede gerçekleşmeyecek, ancak, derin içeriğe (özellikle daha derin içeriğe işaret eden site haritası sayfaları veya dizin dizinleri) gelen bağlantılar benzer büyüklükteki sitelerden ekleniyorsa, sayfalarınızın daha fazlasının daha erken örümceklendiğini garanti ederim. bir süredir etrafta.

Eski bir alan adı günde 100.000 sayfanın dizine eklenmesi için yeterli olacak mı?

Şüphesiz, yıllar içinde önemli miktarda etkinlik (eski bir içerik ve gelen bağlantılar) olan eski bir alandan bahsetmiyorsanız.

Endeksleme sürecinin kendisinde yardımcı olan herhangi bir SEO danışmanı var mı?

Soruyu bu şekilde ortaya koyduğunuzda, yüksek sesle "evet!" ancak günün sonunda, Virtuosi Media'nın önerileri, bunlardan herhangi birinden alacağınız kadar iyi bir tavsiyedir (potansiyel olarak kötü tavsiyelerin hiçbirini söylemek için).

Sesinden bakıldığında, sitenizin bu noktada sıralamasını oluşturmak için iş geliştirme ve halkla ilişkiler kanallarını kullanmayı düşünmelisiniz - içeriğinize daha fazla bağlantı alın (tercihen sitenize bağlantı vermek için bölgesel hedefli içerik sunan mevcut bir siteyle ortaklık kurarak) bölgesel bölünmüş) örneğin, içerik sitenize gezen fazla kişi (bazı kendi trafik için Google araç çubuğu yüklü olacak almak olabilir , eğer mümkünse) sayfa keşif doğru işler yapan ve iş haberleri veya topluluklarında bahsettik olsun ihtiyaç duyan kişilerin (belirli hizmetler için ücret almayı planlıyorsanız, ilgi çekmek için ücretsiz deneme süresi reklamını yapmayı düşünün).

Biraz yardımcı olabileceğim iki olası seçenek var.

Bir: Şaşırtıcı bir şekilde iyi çalışan üç milyon sayfalık bir web sitesi ile denediğim küçük bir numara, meslektaşımın tarama döngüsünü oluşturduğu şeydi. Sitenize uygun hale getirmek için fikri biraz manipüle etmeniz gerekebilir.

Temelde, çok fazla trafik (yılbaşı) alacağımızı düşünmediğimiz bir gün ayarladık ve kelimenin tam anlamıyla sitemizdeki her bağlantının bir listesini kopyaladık ve her birini, her bir web sayfasında çağrılan bir php dosyasına yapıştırdık. (Kenar çubuğu php dosyası)

Daha sonra google arama konsoluna (eski adıyla google web yöneticisi araçları) gitmeyi düşündük ve google'a bir url getirmesini ve o urls sayfasındaki her bir bağlantıyı taramasını söyledik.

Çok fazla bağlantınız olduğundan ve bağlantı veren sayfaların da bol miktarda bağlantıya sahip olması nedeniyle, google bir döngüye girer ve siteyi çok daha hızlı bir şekilde tarar. İlk başta şüpheciydim ama bir çekicilik gibi çalıştı.

Bunu yapmadan önce, son derece verimli bir veritabanı kurulumuna ve çok güçlü bir sunucuya sahip olduğunuzdan emin olmalısınız, aksi takdirde yavaş sayfa yükleme süreleri nedeniyle sunucuyu aşırı yükleyebilir veya SEO'nuza zarar verebilir.

Bu sizin için bir seçenek değilse, her zaman google'ın bulut konsolu apislerine bakabilirsiniz. Bir arama konsolu API'si vardır, böylece her web sayfasını arama konsolunda kendi web sitesi örneği olarak eklemek veya google'ın URL'lerinizin her birini almasını sağlamak için bir komut dosyası yazabilirsiniz.

Apiler son derece hızlı bir şekilde karmaşık olabilir, ancak doğru kullanıldığında inanılmaz bir araçtır.

İyi şanslar!

Sadece bu tür bir site deneyimi yaşadım. Yıllar önce bir makale dizini çalıştırdım ve dizine eklenmiş ve daha da önemlisi performans gösteren sayfaların yüzdesi, yönlendiren alanların sayısı ile doğrudan ilişkiliydi - yani bağlantı veren benzersiz web sitelerinin sayısı. Milyonlarca sayfalık büyük bir sitenin birkaç 1.000'e ihtiyacı var kendi başına performans sergilemek için bağlanan makul alanlar.

Kesinlikle bir gecede olmayacak, ama gerçekleşmeye başlayacak zamanında günde 5-10 iyi bağlantı kuracaksınız, o zaman gelir üretecek ve bağlantılar oluşturmak için profesyonel bir SEO kıyafeti ödemek için kullanacaksınız senin için.

Şu anda benzer, bilgi açısından zengin bir site inşa ediyorum, ilk günleri ama günde yaklaşık 700-1.000 sayfa tarama oranıyla yaklaşık 4 milyon sayfa içerikle aynı sorunu yaşıyorum.

Çevrimiçi itibarına değer veren meşru bir iş yürütüyorsanız, sistemi oynamak asla iyi bir fikir değildir. Ayrıca, siteniz gerçekten değer sağlıyorsa, ne kadar uzun sürerse (bir çeşit pazarlama yaptığınızı varsayalım?) Daha fazla geri bağlantı tahakkuk eder, böylece PR'niz yükselir ve tarama oranınız yükselir.

Ayrıca, sitenizde iyi bir bağlantı yapınız varsa (tüm sayfalarınız makul sayıda tıklama / bağlantıda bulunabilir), yalnızca ana dizinleri site haritası yoluyla göndermeniz gerekir. Bu sayfalar Google tarafından dizine eklendikten sonra, Google tarafından taranır ve Google diğer sayfaları kendi başına dizine ekler.

Google web yöneticisi araçlarıyla fark ettiğim bir şey, saniyede yaklaşık iki istek için maksimum tarama oranına izin vererek başlamasıdır. Sonra yaklaşık bir hafta kadar sonra, web sitesine sık erişildiğini tespit ederse, sınırınızı artırmanıza izin verecektir.

500.000'den fazla orijinal görüntüyü barındıran bir web sitesini yönetiyorum ve bazen maksimum limitim saniyede 10 istek, çünkü daha fazla olmasa da günde en az 700 ila 1000 sonuç alıyorum.

Yapmak isteyebileceğiniz şey, tarama sınırını artırıp arttıramayacağınızı görmek için her hafta web yöneticisi araçlarıyla kontrol etmektir. Tarama sınırını değiştirdiğinizde, google belirli bir gün geçtikten sonra (arayüzün size göstereceği gibi) tekrar tercih edilen ayarlarına sıfırlar. Sonra o gün, limiti tekrar yükseltin.