intégrateur xhtml css 2.0 freelance indépendant

Les Sitemaps, création et envoi de sitemaps.
Article original sur les sitemaps écrit par Google.

Vous pouvez Lire l'article original en cliquant sur le mot sitemaps ci dessus. J'ai réuni ( et copié ) tous les articles interessants fournis par Google sur mon site en y ajoutant parfois quelques photos d'écran ou en modifiant cetains passages lorsque je les trouvais pas assez explicites.

Les sitemaps envoyés a google sont très utiles car ils permettent de voir dans une interface conviviale les erreurs qu'il peut y avoir sur votre site.

un exemple d'informations fournies par google dans son interface dédiée aux sitemaps

À propos des sitemaps

Nous envoyer un sitemap vous permet de nous signaler des pages de votre site que nous pourrions ne pas détecter autrement. En résumé, un sitemap XML (appelé couramment sitemap) est une liste des pages de votre site Web. La création et l'envoi d'un sitemap vous permet de vous assurer que Google connaît toutes les pages de votre site, y compris celles qui pourraient ne pas être détectées par le processus d'exploration standard de Google.

Outre les sitemaps standard, vous pouvez créer des sitemaps conçus pour signaler à Google des types de contenu Web spécifiques. Vous pouvez ainsi envoyer des sitemaps pour vidéos, pour mobile, pour Google Actualités, pour Google Recherche de code ou encore des sitemaps géographiques (KML).

En savoir plus sur les sitemaps

Les sitemaps sont particulièrement utiles dans les cas suivants :

  • Votre site intègre du contenu dynamique.
  • Toutes les pages de votre site n'ont pas été détectées par Googlebot lors du processus d'exploration (les pages avec du contenu AJAX ou Flash, par exemple).
  • Votre site est récent et seuls quelques liens permettent d'y accéder. Googlebot explore le Web en suivant les liens entre les différentes pages. Par conséquent, si le système de liens de votre site n'est pas cohérent, nos robots auront des difficultés à le détecter.
  • Votre site contient de nombreuses pages de contenu mal reliées entre elles ou non reliées du tout.

Nous ne vous garantissons pas que toutes vos URL seront explorées ou indexées. Par exemple, les URL d'images contenues dans votre sitemap ne seront ni explorées, ni indexées. Les données figurant dans votre sitemap nous permettent en revanche d'identifier la structure de votre site et de mieux planifier les explorations futures de votre site, lesquelles seront également plus performantes. Les sitemaps se révèlent généralement utiles pour les webmasters et ne peuvent en aucun cas les pénaliser.

Vous pouvez également utiliser un sitemap pour fournir à Google des informations supplémentaires sur votre site, comme la date de la dernière modification et la fréquence à laquelle vous pensez qu'une page sera modifiée. Plus d'informations

Google prend en charge le protocole Sitemap 0.9 tel qu'il est défini par le site sitemaps.org. Par conséquent, les plans Sitemap créés pour Google avec le protocole Sitemap 0.9 sont compatibles avec les autres moteurs de recherche qui respectent les normes définies sur sitemaps.org.

Création d'un sitemap

Consignes générales concernant les URL dans les sitemaps

  • Un sitemap peut contenir soit une liste d'URL, soit une liste de sitemaps.
  • Si votre sitemap contient une liste d'autres sitemaps, vous devez l'enregistrer sous le forme d'un index de sitemaps et utiliser le format XML fourni pour ce type de fichiers. Un index de sitemaps peut répertorier jusqu'à 50 000 sitemaps.
  • Un fichier sitemap ne peut pas contenir plus de 50 000 URL et sa taille ne doit pas dépasser 10 Mo avant compression. Si votre sitemap est plus volumineux que cela, scindez-le en plusieurs fichiers plus petits. Ces restrictions permettent d'éviter que votre serveur Web ne soit surchargé lors de l'envoi de fichiers volumineux à Google.
  • Toutes les URL doivent être définies en utilisant la même syntaxe. Par exemple, si vous définissez l'emplacement de votre site comme étant http://www.example.com/, votre liste d'URL ne doit pas contenir d'URL commençant par http://example.com/. Si vous définissez l'emplacement de votre site comme étant http://example.com/, votre liste d'URL ne doit pas contenir d'URL commençant par·http://www.example.com/.
  • N'incluez pas d'identifiant de session dans les URL.
  • Votre sitemap ne doit pas inclure d'URL menant directement à des images. Google n'indexe pas directement les images, mais la page sur laquelle elles apparaissent. Les URL d'images incluses dans votre sitemap ne seront pas indexées.
  • L'URL du sitemap doit être codée de manière à pouvoir être lue par le serveur Web sur lequel elle se trouve. Elle doit également être exclusivement composée de caractères ASCII et ne doit pas contenir de caractères ASCII étendus ni certains codes de contrôle ou caractères spéciaux tels que * et {}. Si l'URL de votre sitemap contient ces caractères, vous obtiendrez une erreur lorsque vous demanderez son indexation.

Création d'un sitemap à l'aide du protocole Sitemap

Google accepte plusieurs formats de sitemap, mais nous vous recommandons l'utilisation du protocole Sitemap pour créer des sitemaps pris en charge par d'autres moteurs de recherche, tels que MSN et Yahoo!, qui sont membres de sitemaps.org.

Vous pouvez créer un sitemap de différentes manières :

  • Créez un sitemap manuellement à l'aide du protocole Sitemap.
  • Utilisez le Générateur Sitemap. Si vous avez accès à votre serveur Web et si Python est installé sur ce dernier, vous pouvez utiliser notre script pour créer un sitemap à l'aide du protocole Sitemap. Le Générateur Sitemap de Google est un script Python qui crée un sitemap de votre site à l'aide du protocole Sitemap. Ce script permet de créer des sitemaps à partir de listes d'URL, de répertoires de serveurs Web ou de fichiers journaux.
  • Utilisez un outil tiers. Un certain nombre d'organisations tierces proposent des outils permettant de créer un sitemap correct.

Utilisation d'un flux RSS/Atom comme sitemap

Google accepte les flux RSS (Real Simple Syndication) 2.0 et Atom 1.0. Si vous possédez un blog doté d'un flux RSS ou Atom, vous pouvez envoyer l'URL du flux en tant que sitemap. La plupart des logiciels de développement de blogs créent les flux pour vous. Notez que, dans certains cas, ces flux ne fournissent des informations que sur les URL récentes.

Création d'un sitemap à l'aide d'un fichier texte

Vous pouvez fournir à Google un simple fichier texte contenant une URL par ligne. Exemples :

http://www.example.com/fichier1.html  http://www.example.com/fichier2.html

Pour obtenir un résultat optimal, respectez les consignes suivantes :

  • Vous devez définir les URL intégralement, car Google les utilise telles quelles lors de l'exploration.
  • Le nombre d'URL répertoriées dans un fichier texte est limité à 50 000. Si votre site se compose de plus de 50 000 URL, vous pouvez scinder cette liste en plusieurs fichiers texte et ajouter chacun d'eux séparément.
  • Le fichier texte doit utiliser le codage UTF-8. Vous pouvez spécifier le codage lorsque vous enregistrez le fichier (dans le Bloc-notes par exemple, vous pouvez sélectionner cette valeur dans le menu Codage de la boîte de dialogue Enregistrer sous).
  • Le fichier texte ne doit contenir aucune information en dehors de la liste d'URL.
  • Le fichier texte ne doit contenir aucune information d'en-tête ou de pied de page.
  • Vous pouvez donner à ce fichier le nom de votre choix. Google recommande d'utiliser une extension .txt afin de l'identifier comme étant un fichier texte (sitemap.txt, par exemple).

Nous vous recommandons de transférer le fichier texte vers votre serveur. Une fois le fichier créé, vous pouvez l'envoyer en tant que sitemap. Ce processus, bien que manuel, constitue la méthode la plus simple si vous n'avez pas de connaissances particulières sur l'écriture de scripts ou la gestion de votre serveur Web.

Gestion des sitemaps pour plusieurs sites

Si vous possédez plusieurs sites Web, vous pouvez simplifier la procédure de création et d'envoi des sitemaps en regroupant les URL de tous les sites validés dans un ou plusieurs sitemaps que vous enregistrerez dans un emplacement unique. Tous ces sites doivent être validés à l'aide des Outils Google pour les webmasters. Plus d'informations.

Envoi d'un sitemap ou mise à jour d'un sitemap déjà envoyé

Une fois que vous avez créé un sitemap dans un format pris en charge, vous pouvez l'envoyer à Google par l'intermédiaire des Outils Google pour les webmasters. Cela permettra à Google de vous fournir des informations utiles (état et statistiques).

Envoi de sitemaps à l'aide des Outils Google pour les webmasters

Avant de commencer, vérifiez que vous avez bien ajouté et validé les sites ci-après dans votre compte Outils pour les webmasters :

  • le site sur lequel se trouve le sitemap ;
  • le(s) site(s) dont les URL sont répertoriées dans le sitemap.
  1. Transférez votre sitemap vers votre site.
  2. Sur la page d'accueil des Outils pour les webmasters, cliquez sur le site de votre choix.
  3. Dans Configuration du site, cliquez sur Sitemaps.
  4. Complétez le chemin d'accès de votre sitemap dans le champ de texte. Par exemple, si l'adresse de votre sitemap est http://www.example.com/sitemap.xml, saisissez sitemap.xml.
  5. Cliquez sur Envoyer un sitemap.

Envoi de sitemaps à l'aide du fichier robots.txt

Vous pouvez signaler à Google et aux autres moteurs de recherche l'existence de votre sitemap en ajoutant la ligne suivante à votre fichier robots.txt (en remplaçant l'URL d'exemple par le chemin d'accès complet vers votre propre sitemap) :

Sitemap : http://example.com/emplacement_sitemap.xml

Cette instruction est indépendante de la ligne user-agent. Vous pouvez donc l'insérer à l'emplacement de votre choix dans votre fichier. Si vous disposez d'un index de sitemaps, il vous suffit d'indiquer l'emplacement de ce fichier. Vous n'avez pas besoin de répertorier l'emplacement de chacun des sitemaps figurant dans votre fichier.

Renvoi de sitemaps

Lorsque vous apportez des modifications à votre sitemap, vous pouvez le renvoyer à l'aide de votre compte Outils Google pour les webmasters ou d'une requête HTTP.

Renvoi d'un sitemap à l'aide des Outils pour les webmasters

  1. Sur la page d'accueil des Outils pour les webmasters, cliquez sur le site de votre choix.
  2. Sous Configuration du site, cliquez sur Sitemaps.
  3. Sélectionnez le sitemap à renvoyer, puis cliquez sur Renvoyer.

Renvoi d'un sitemap en soumettant une requête HTTP à Google

Si vous optez pour cette méthode, vous n'aurez pas besoin de renvoyer le sitemap par l'intermédiaire des Outils pour les webmasters. La colonne Date d'envoi indiquera toujours la date la plus récente à laquelle vous avez cliqué sur ce lien, mais la colonne Dernier téléchargement indiquera celle à laquelle notre système a récupéré votre sitemap pour la dernière fois.

Pour renvoyer votre sitemap à l'aide d'une requête HTTP :

  1. Envoyez votre requête à l'URL suivante :
    www.google.com/webmasters/tools/ping?sitemap=sitemap_url

    Par exemple, si le chemin d'accès à votre sitemap est http://www.example.com/sitemap.gz, l'URL se présentera comme suit :

    www.google.com/webmasters/tools/ping?sitemap=http://www.example.com/sitemap.gz
  2. Codez sous forme d'URL tous les éléments situés après /ping?sitemap= :
    www.google.com/webmasters/tools/ping?sitemap=http%3A%2F%2Fwww.votresite.com%2Fsitemap.gz
  3. Envoyez la requête HTTP à l'aide de wget, curl ou de tout autre mécanisme.

Si la requête réussit, vous recevrez un code de réponse HTTP 200. Si vous recevez une réponse différente, vous devrez renvoyer votre requête. Le code de réponse HTTP 200 indique uniquement que Google a reçu votre sitemap. Il ne garantit pas la validité de ce dernier ni celle des URL qu'il contient. Pour obtenir les informations relatives à votre sitemap, renvoyez ce dernier à l'aide de votre compte Outils Google pour les webmasters. Nous vous recommandons de ne pas renvoyer un sitemap plus d'une fois par heure. Vous pouvez, par exemple, créer une tâche automatique afin de générer et d'envoyer un sitemap à intervalles réguliers.

Remarque : Si vous fournissez un fichier d'index de sitemaps, il vous suffit de créer une seule requête HTTP précisant l'emplacement du fichier (inutile d'envoyer une requête distincte pour chaque sitemap répertorié dans l'index).

Résolution des problèmes liés aux sitemaps

Problème lors de l'envoi de sitemaps

Si vous rencontrez des problèmes lors de l'envoi d'un sitemap, vérifiez que l'URL de votre site fait bien partie des URL indiquées dans votre sitemap et qu'elle est strictement identique à celle figurant dans votre compte Outils pour les webmasters. Par exemple, si vous avez ajouté le site http://www.example.com à votre compte Outils pour les webmasters, ne répertoriez pas les URL en utilisant le format suivant : http://example.com/accueil.html. Vous devez utiliser http://www.example.com/accueil.html.

Erreurs détectées dans un sitemap

La page de détails sur les sitemaps répertorie toutes les erreurs que Google a détectées dans votre sitemap ainsi que les avertissements concernant des éléments pouvant se révéler problématiques. En savoir plus sur les erreurs de sitemaps les plus fréquentes

Une fois que vous avez vérifié votre sitemap et effectué les modifications nécessaires, enregistrez-le et renvoyez-le à Google. Un délai d'une journée peut s'écouler avant que Google ne traite le sitemap renvoyé. Dans ce cas, le statut d'avertissement reste affiché tant qu'il n'a pas été traité.

Une fois que vous avez vérifié votre sitemap et effectué les modifications nécessaires, enregistrez-le et renvoyez-le à Google. Un délai d'une journée peut s'écouler avant que Google ne traite le sitemap renvoyé. Dans ce cas, le statut d'avertissement reste affiché tant qu'il n'a pas été traité