Googlebot yalnızca kimliği doğrulanmış kullanıcılar tarafından görülebilen URL'leri nasıl bulur?

12

İşte müşterilerimden biri, hesabına giriş yaptıktan sonra bazı eylemler gerçekleştiriyor. Benzersiz simge basitçe şifrelenmiş bir kullanıcı kimliği + zaman damgasıdır.

94.254.xxx.xxx - - [02 / Tem / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0 (uyumlu; MSIE 9.0; Windows NT 6.1; Trident / 5.0) "

Şimdi Googlebot bir şekilde bu benzersiz bağlantıyı öğrendi ve bir hafta sonra tam olarak aynı URL'ye erişmeye çalıştı.

66.249.71.179 - - [10 / Tem / 2011: 09: 56: 01 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 302 - "-" "Mozilla / 5.0 (uyumlu; Googlebot / 2.1; + http: //www.google.com/bot.html) "

(kodun süresi dolduğundan durum kodu 302'dir)

Bunun, kullanıcının tıklamadan ve söz konusu sayfayı ziyaret etmeden önce, yalnızca 2 saniye boyunca tam olarak bir kez görünen benzersiz bir URL olduğunu vurgulayayım. Bir e-posta ile gönderilmedi veya herkese açık bir yerde yayınlanmadı.

Burada neler oluyor, Google'ın bu benzersiz URL'yi bulması nasıl mümkün olabilir?

google search-engines googlebot

— kırlangıç
kaynak

6

Kesin olarak söylemek zor, ancak işte muhtemelen senaryolar:

Kullanıcının Google'a ziyaret ettiği URL'leri bildiren bir tarayıcı araç çubuğu veya uzantısı yüklü.
Birisi bu URL ile bağlantı kurdu ve Google, bu bağlantıyı içeren sayfayı tarayarak onu buldu.

— John Conde
kaynak

Google Araç Çubuğu'ndan bahsediyorsanız, URL'leri Google'a yalnızca "PageRank" özelliğini etkinleştirmeniz durumunda geri gönderir, ancak bu verileri hiçbir zaman yeni URL'leri keşfetmek için kullanmadık. Tarafımızdan yayınlanan başka bir araç çubuğu hakkında bilgi verirseniz lütfen bize bildirin.

— Methode

5

Kullanıcının bu kimliği doğrulanmış sayfada bir giden bağlantı bulması gerektiğini fark ettim ve daha sonra Refererbaşka bir web sitesine tıklarken olduğu gibi özel URL'yi sızdırdım . Bu tek olası açıklamadır ve en başından beri çok açık olmalıydı.

Sızdırıldığında, özel URL Google'a çeşitli şekillerde maruz kalmış olabilir, örneğin hedef site erişim günlüklerini herkese açık olarak yayınlamış olabilir. Not: Giden bağlantıların hiçbiri Google Analytics kullanmıyordu, bu da Googlebot'un Analytics'ten yönlendirme URL'leri kullandığını göstermez.

Alınan ders: https kullanmadığınız sürece hiçbir zaman hassas verileri URL'lere koymayın; bu durumda tarayıcı Refererboş bırakılır .

— kırlangıç
kaynak

1

Haklısınız: URL'lere hassas veriler koymak tehlikeli olabilir. Mümkün olduğunda, POST isteklerini kullanan (URL'nin bir parçası olarak değişkenler göndermeyen GET istekleri gibi) veya çerez / oturum değişkenleriyle sayfalar arasında benzersiz kullanıcı kimlikleri iletmeniz gerekir.

— Nick