Archivo robots.txt personalizado y etiquetas encabezado para robots

Infindad de posibilidades en éste apartado, os recomiendo un enlace donde se explica estupendamente.

robots txt

Estas etiquetas nos ayudan, sobre todo, con la indexación y uso de contenido por parte de los buscadores. Nos permiten por ejemplo acceso a la página inicial pero no a las imágenes o archivos, que solo busque a partir de una fecha, etc.

all --> La página completa no será indexada (incluyendo los archivos).
noindex --> La página no podrá ser indexada por los motores de búsqueda.
nofollow --> No permite que los robots sigan los vínculos de nuestra página con otras.
none --> La página será indexada pero sin ningún archivo.
no archive --> La página no será almacenada en memoria caché de buscadores.
nosnippet -->  No se muestra la descripción de nuestro sitio bajo nuestra URL en la lista de resultados de buscadores.
noodp --> No se utilizarán para indexado los datos de ODP (Open Directory Project).
notranslate --> Se bloquea el servicio de traducción de algunos navegadores.
noimageindex --> En los resultados de búsqueda de imágenes, se mostrará la imagen, pero no la página donde se ha encontrado.
unavailable_after --> La página dejará de ser indexada a partir de una fecha, incluso desaparece de la caché de buscadores.