Yanıtlar:
Alt alan adı web sitesinin dizininin köküne robots.txt adlı bir dosya ekleyin:
User-agent: *
Disallow: /
Bu, web tarayıcılarına siteyi hiç endekslememelerini söyleyecektir. İtaat etmek zorunda değiller, ama ana olanlar olacak.
noindex
dizine ve alt etki alanındaki diğer sayfalara
Alt alanınızda bir robots.txt dosyası kullanmak yardımcı olacaktır (ve Google buna uyacaktır), ancak atabileceğiniz başka bir adım, bu alt alan adının dizine eklenmesini istemediğiniz bir Google Webmaster hesabı ile belirtmektir. Ayrıca alt alan adındaki tüm sayfalarda bir meta etiket kullanabilirsiniz:
<meta name="robots" content="noindex">
Bu yalnızca dahili test için kullandığınız bir site olursa, görünürlüğü sanal ana makineler dosyanızdaki belirli bir IP adresi kümesiyle sınırlandırmak siteyi daha fazla gizler.
meta
Her sayfaya bir noindex etiketi gömmek yerine X-Robots-Tag
, sunucunuzdan belirtilen alt etki alanı için bir HTTP yanıt başlığı döndürebilirsiniz - bu yalnızca bir kez yapmanız gerekir.
Kenzo ve Paul'un çözümleri iyidir, web sayfalarınıza meta etiketler noindex koyabilir ve robotlara izin vermemek için robots.txt ekleyebilirsiniz.
Ancak bence, en iyi çözüm, alt alan adınızda şifre doğrulamayı kullanmaktır. Bu, robotların web sitenize erişebildiğinden ve web sitenizi dizine ekleyebileceğinden eminiz. Apache kullanıyorsanız, htpasswd uygulayabilirsiniz .
... şu anda SEO sonuçlarında mı gösteriliyor?
Diğer yanıtlar, sayfalarınızı arama sonuçlarından etkin bir şekilde kaldırmak yerine (altta olduğunuz) daha fazla olabilecek bir (alt) alanın dizine eklenmesini (esas olarak soruda sorduğunuz şeydir) proaktif olarak önlemekle ilgilidir . sizin diğer soru .
Sitenizi robots.txt dosyasında engellemeniz ve diğer yanıtlarda belirtildiği gibi bir noindexmeta
etiketi (veya X-Robots-Tag
HTTP yanıt başlığı) sunmanız gerekir, ancak sayfalarınıza erişimi engellemeniz ve 404 veya 410 durum kodu döndürmeniz gerekir.
Bununla ilgili daha fazla bilgiyi Google Web Yöneticisi Araçları yardım sayfasında bulabilirsiniz:
İçeriği kaldırma gereksinimleri
Tüm bunları yerine getirdikten sonra Google Web Yöneticisi Araçları'ndaki URL'leri Kaldır aracını kullanabilirsiniz . Ancak, bu yalnızca tek tek URL'ler için geçerlidir, sitenin tamamı için geçerli değildir, ancak bir başlangıçtır. (Google, GWT kaldırma aracını kullanmak için robots.txt, noindex ve 404 hizmetinin kullanılmasının şart olduğunu belirtir.)
Bununla birlikte, normal kullanıcıların URL'yi yazarak siteye erişebilmesini istiyorsanız, içeriğiniz artık kullanılamadığından bu bir sorundur. Zistoloen'in öne sürdüğü gibi şifre girebilirsiniz, ancak bu, varsayılan olarak 404/410 döndürmek için geçersiz kılmanız gereken bir 403 (Yasak) döndürür. Sen olabilir gizlemeye SERPs sonuçlarını tıklamasıyla insanlar hakkında ama ne - Googlebot'a bir 410 dönen ve herkes girmek için izin içeriğinizi?
Ancak Google'ın içeriğinizi mümkün olan en hızlı şekilde kaldırmasını istiyorsanız, içeriği "Google" internetinden kaldırmanız gerekir.