Auf der Suche nach Informationen durchdringen Robots jeden Winkel des Internets. Es ist jedoch nicht immer erwünscht, dass bestimmte Inhalte ihren Weg in die Suchmaschinen finden. Mithilfe der Robots.txt-Datei hast du die Möglichkeit, diese Inhalte vor der Indizierung zu schützen.