Google 403 sayfamı nasıl taramayı başardı?

Okul klasörümdeki bir dizinde birkaç özel dosyam vardı. Dosyaları myschool.edu/myusername/myfolder adresine giderek, myschool.edu/myusername/myfolder/myfile.html adresinden dosyalara erişmeye çalıştıklarını görebilirsiniz.

Yine de Google bir şekilde bu özel dosyaların içeriğini almayı ve önbelleğinde saklamayı başardı! Bu nasıl mümkün olabilir? [O zamandan beri bu dosyaları kaldırdım, bu yüzden Google'ın bunu nasıl başardığını merak ediyorum.]

En olası neden, sayfaların 403 üstbilgisi döndürmemesidir.

Firefox veya Chrome'daki Web Geliştirici Araç Çubuğunu kullanarak bunu kontrol edebilirsiniz. Araç, "Bilgi" -> "Yanıt Üstbilgilerini Görüntüle" altında bulunur.

Ayrıca, hata sayfalarımı oluşturma şeklim:

1. Biraz kukla hata sayfası oluşturuyorum. Diyelim ki 403.php .
2. Gerçek bir hata sayfası oluşturuyorum. Örneğin error403.php .
3. Kukla hata sayfasında aşağıdaki kodu koydum: <?php header("Location: /error403.php",TRUE,301); ?>

4. Benim .htaccess, aşağıdakileri koydum:

   Options -Indexes

   ErrorDocument 403 /403.php

Bu, tüm yönlendirmeleri doğru bir şekilde ekler ve hata sayfalarımdan biraz meyve suyu aldığımdan emin olmamı sağlar.

Web siteniz GET isteklerini kullanan bir arama motoruna sahipse bu aslında son derece güzel bir şekilde genişletilebilir.