Contenuti del meta tag ROBOTS

Differentemente dagli altri meta tag, il meta tag ROBOTS non ha lo scopo di fornire informazioni inerenti i contenuti della pagina web. Al contrario, si tratta di un modo per comunicare con lo spider del motore di ricerca e invitarlo a seguire alcune direttive circa l'indicizzazione della pagina web.

Attualmente, le direttive impartibili allo spider sono due ed hanno i seguenti scopi:

1. Richiesta di includere (o di escludere) i contenuti della pagina nell'archivio del motore di ricerca.
2. Richiesta di seguire (o non seguire) tutti i link presenti nella pagina, al fine di individuare altre pagine del sito web.

Le due direttive possono essere combinate tra loro a discrezione del webmaster e compatibilmente con le sue esigenze.

E' consigliato non far archiviare pagine dai contenuti temporanei e soggette a prossima cancellazione. Oppure si puo' chiedere allo spider di non seguire i link ad alcune pagine private del sito, non dedicate al pubblico lettore.

E' importante ricordare che parallelamente all'utilizzo del meta tag ROBOTS e' possibile, per non dire consigliato, utilizzare anche il file di testo ROBOTS.TXT (cliccare sul link per maggiori informazioni a riguardo).

La sintassi del meta tag ROBOTS

Il meta tag ROBOTS si deve inserire nell'intestazione (HEAD) della pagina web.

Per chiedere allo spider di indicizzare i contenuti della pagina si usa la direttiva INDEX.
Se, invece, non si desidera che i contenuti della pagina vengano archiviati si usa la direttiva NOINDEX.

Per chiedere allo spider di seguire tutti i link contenuti nella pagina si usa la direttiva FOLLOW.
Al contrario, per impedire che lo spider segua i link contenuti nella pagina si usa la direttiva NOFOLLOW.

I due tipi di direttive possono essere combinati a piacere e inclusi nel contenuto del tag ROBOTS separandoli con una virgola senza spazio.

Una raccomandazione importante da fare circa i contenuti del meta tag ROBOTS e' quella di non indicare direttive in conflitto tra di loro (ad esempio INDEX e NOINDEX insieme) e quella di non ripetere le direttive.

Esistono altre due direttive, che praticamente pero' sono delle forme abbreviate delle precedenti:
ALL che abilita tutte e due le direttive precedentemente viste (e che quindi e' sinonimo di "INDEX,FOLLOW").
NONE che disabilita tutte e due le direttive precedenti viste (e che e' dunque sinonimo di "NOINDEX,NOFOLLOW").

E' importante precisare che:
A) In mancanza del meta tag ROBOTS, gli spider si comportano come se avessero trovato INDEX,FOLLOW
B) Non tutti i motori di ricerca riconoscono e rispettano il meta tag ROBOTS, anche se la maggior parte si.

Esempi

Ecco un esempio di codice HTML per il meta tag ROBOTS, da inserire nell'intestazione (HEAD) della pagina web:

questo esempio invita lo spider del motore di ricerca a catalogare la pagina e a seguirne tutti i link trovati al suo interno:

META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"


Quest'altro esempio dice allo spider di non includere la pagina negli archivi del motore di ricerca. Tuttavia, si invita lo spider a seguire i link presenti nella pagina:

META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"


Ovviamente il tutto deve essere preceduto dal segno minore e deve terminare con il segno maggiore, come prevede la sintassi dell'html.