Información de robots.txt (Por Santiago)

Producto de otro e-mail enviado a Guille:

robots.txt, en ESTE caso, no serviría de nada, debido a que no es conveniente ponerle contenido alguno. Este archivo es usado para "avisarle" a los buscadores qué
archivos no tienen que ver, o en su defecto restringirles el acceso, y
en este proyecto creo que no sería conveniente hacer eso con ninguna
página. Lo pongo igual, con 0 bytes?

La respuesta resumida fue: Si. Y obviamente que lo postee en el blog.

Sitios con información sobre robots.txt:
http://www.webtaller.com/google/guia_robots.php
http://www.robotstxt.org/wc/robots.html