sept 10 2008
Comment empécher Google d’indexer tout ou partie de votre Blog
Première visite ici? Suivez les articles du blog via RSS. Merci pour votre visite!
Alors que ce blog est spécialisé dans le référencement et le SEO, il est utile dans certains cas d’empêcher les robots des moteurs d’indexer votre contenu partiellement ou totalement (Version de développement, Version Pré-Production, Tests Métiers, Contenu Privé, etc..)
Les moteurs indexent tout ce qu’il trouvent sur leur chemin.Voila quelques techniques pour masquer tout ou partie d’un contenu des spiders de Google.
Bloquer toute l’indexation de tout le site
En utilisant le fichier Robots.txt
Pour masquer le site à Google (search) Uniquement :
User-agent: Googlebot
Disallow: /
Pour masquer le site à tous les moteurs de recherche
User-agent: *
Disallow: /
Si vous avez une version https (+gourmande en ressources) et une version http , et vous souhaitez masquer la version https :
sur le robots.txt de la version http
User-agent: *
Allow: /
sur le robots.txt de la version https
User-agent: *
Disallow: /
Masquer un répertoire particulier de votre site web toujours via à vis de Google.
User-agent: Googlebot
Disallow: /Nom_du_Repertoire/
Masquer l’indexation par Google de certains types de fichier (word par exemple)
User-agent: Googlebot
Disallow: /*.doc$
Une Image en particulier
User-agent: Googlebot-Image
Disallow: /image.jpg
Masquer toutes les images au vu de Google Images
User-agent: Googlebot-Image
Disallow: /
En utilisant les Meta Tags
Placer cette meta tag entre votre balise <head> et </head>
<meta name=”robots” content=”noindex, nofollow”>
Pour empêcher l’indexation des images uniquement mais indexer le site :
<meta name=”robots” content=”noimageindex”>
Pas de version de votre site sur le cache de Google
<meta name=”Googlebot” content=”noarchive”>
cela évite simplement que votre blog se retrouve sur le cache de google, mais n’influe pas sur le réferencement du site.
Supprimer le petit snippet sur les SERPs
<meta name=”googlebot” content=”nosnippet”>
Au delà de l’aspect pratique des ces méthodes ils sont à manier avec précaution sous peine d’empêcher les robots d’accéder complètement à votre blog.
Pour suivre la liste de posts n’hésitez pas à vous abonnez aux flux RSS 
ou les recevoir directement par Mail
ou vous pouvez me suivre sur Twitter
@+
5 Commentaires to “Comment empécher Google d’indexer tout ou partie de votre Blog”
Bon petit résumé sur le sujet Seoman.
En ce qui concerne les blogueurs utilisant Wordpress plusieurs plugins permettent de gérer cela totalement ou en partie, notamment All in one SEO Pack, robots meta ou encore Premium SEO Pack qui propose plus ou moins les fonctionnalités proposées par les 2 extensions précédentes.
Bonne continuation pour ton blog.
Dernier Post de Guillaume.Dimension G6 : le buzz de la Volskwagen Golf 6
merci , le all in one SEO pack est bugué sur certaines versions de wordpress (les dernieres) sinon les autres plugins sont ok
vive wordpress
@Guillaume - Bonjour Guillaume. Quelle est l’option de “all in one SEO Pack ” dont tu parles stp ?
En effet, les fichiers robots.txt peuvent être très très utiles. Avant, j’avais un problème parce que toutes les pages de mon site en construction avaient été référenciées ! Du coup j’avais des pages en double, triple, etc … Merci pour ton article qui m’a aidé à comprendre comment ca marchait !
N.B : J’ai trouvé un autre tuto sympa pour ceux que ca intéresse : http://www.e-tutoriels.com/tutos/tutoriel-Creer-un-fichier-robots-txt-14.html On vous explique comment créer le fichier robots.txt de A à Z
Merci pour ce rappel d’informations ! ça ne fait pas de mal de se rafraichir la mémoire sur les robots.txt et les meta parce qu’a chaque fois je me trompe dans les syntaxes !