L’en-tête HTTP « X-Robots-Tag » est utilisé pour indiquer aux robots d’indexation des moteurs de recherche comment traiter une page Web ou une ressource. Il peut être utilisé pour indiquer aux robots de ne pas indexer une page ou de ne pas suivre les liens qu’elle contient, ou encore pour indiquer qu’une page doit être indexée mais que certaines parties de son contenu ne doivent pas être prises en compte dans les résultats de recherche.
L’en-tête « X-Robots-Tag » est généralement utilisé pour contrôler l’indexation de pages Web par les moteurs de recherche, mais il peut également être utilisé pour contrôler l’affichage de pages Web dans les résultats de recherche. Par exemple, si vous utilisez l’en-tête « X-Robots-Tag: noindex » sur une page, elle ne sera pas affichée dans les résultats de recherche.
Pour utiliser l’en-tête « X-Robots-Tag », vous devez l’ajouter au fichier « header » de votre site Web. Vous pouvez également utiliser un fichier « robots.txt » pour indiquer aux robots de ne pas indexer certaines pages ou ressources de votre site.
« Retour à l'index du glossaire