Un file da non sottovalutare è il file robots.txt del nostro sito web.
Vediamo innanzitutto cos'è.
Il file robots.txt è un file di testo presente nella cartella principale del nostro sito web. Il file contiene le istruzioni per i motori di ricerca su cosa indicizzare e su cosa non indicizzare.
Anzi per essere precisi indica ai motori di ricerca cosa NON si deve indicizzare, tutto il resto è invece indicizzabile.