Fuente: WebTaller 
 
Si tenemos alguna página web la cual no deseamos que este indexada en un motor de búsqueda. Aquí veremos un par de soluciones fáciles y rápidas

Usando un meta tag específico.

A cada página que no queramos que aparesca en los resultados debemos agregar el siguiente meta
<meta name="robots" content="noindex,nofollow,noarchive" />

Esto le dice al robot que no indexe la página, que no siga los links y que tampoco la archive.

Crear un archivo robots.txt.

Si las páginas que deseas proteger estan en un directorio separado entonces es más facil protegerlas usando el archivo robots.txt

Crea un archivo de texto robots.txt y guardalo en el directorio principal de tu sitio web.

Aquí veremos un ejemplo:

User-agent: *
Disallow: /nombredeldirectorioprotegido
Disallow: /nombredeotrodirectorioprotegido

Cuando el robot llegue a tu sitio leerá el archivo robots.txt y no mirará dentro de los directorios que pusimos en el robots.txt.

Listo, con esos dos métodos podemos ahorrarnos muchos problemas.

Un tercer método es protegiendo los directorios con contraseña, pero esto tambien imposibilitaría a los usuarios humanos acceder al directorio en cuestión así que sólo lo usaremos con información crítica.

Saludos!