I primi spider sviluppati dai motori di ricerca si limitavano a leggere l'intestazione delle pagine HTML da indicizzare e una piccola quantita' di testo della pagina, nell'ordine di qualche centinaio di caratteri.

Gli algoritmi degli spider erano ancora poco raffinati e inoltre questi programmi potevano contare su una potenza di calcolo e una capienza dei supporti di massa inferiore a quella che si possiedono oggi.
Per tale ragione, non potevano permettersi di leggere, analizzare ed includere nei propri archivi l'intera pagina HTML ma dovevano accontentarsi di un suo breve estratto.

Ad aiutare gli spider (ma piu' genericamente qualunque tipo di browser) a classificare opportunamente le pagine, intervenivano dunque i webmaster, che includevano importanti informazioni sui contenuti della pagine nei tag meta, ovvero nell'intestazione, tra i tag HEAD. In questo modo gli spider potevano accedere ad una sorta di riassunto dei contenuti della pagina limitandosi a leggere l'intestazione e poco altro testo nel corpo del file HTML.

Tuttavia, col passare del tempo i programmatori degli spider si accorsero che questo aiuto ricevuto dai webmaster poteva nascondere una tecnica per sviare gli algoritmi di classificazione dei motori di ricerca; era infatti sufficiente inserire nei meta tag descrizioni e keywords non attinenti ai contenuti reali delle pagine per poter apparire in ricerche non correlate ai termini cercati dagli utenti.

Per questa ragione i motori di ricerca volsero i propri sforzi a realizzare nuovi algoritmi, che prendevano in esame principalmente i contenuti testuali della pagina, relegando i contenuti dei meta tag ad una posizione di importanza secondaria.

Oggi non e' piu' possibile barare con i meta tag come si faceva una volta, anzi, molti motori di ricerca penalizzano i siti che presentano contenuti dei meta tag non attinenti agli argomenti trattati in seguito nel corpo pagina web.

Il meta tag DESCRIPTION, cosi' come quello KEYWORDS e ROBOTS, dunque, servono oggi solo a consolidare gli argomenti trattati in una pagina web e non vanno comunque utilizzati per fuorviare gli algoritmi dei motori di ricerca.

Cliccando sui precedenti link sara' possibile visualizzare la pagina web dedicata ad ognuno dei meta tag, per vederne in dettaglio l'utilizzo, la sintassi, e per avere alcuni consigli per l'ottimizzazione degli stessi, ai fini di un migliore e piu' attinente posizionamento nei motori di ricerca della pagina web che li contiene.