¿Cuál es el archivo robots.txt?

Introducción

El archivo robots.txt es un archivo de texto simple que forma parte del Protocolo de Exclusión de Robots (REP). Contiene instrucciones para los motores de búsqueda sobre cómo acceder e indexar el sitio. Para ser efectivo, el archivo robots.txt debe colocarse en la carpeta raíz del sitio (por ejemplo, https://domeniu.ro/robots.txt).

La Importancia del Archivo robots.txt

El archivo robots.txt es crucial para gestionar la interacción de los bots con el sitio. Hay muchos bots que pueden indexar el sitio de manera agresiva, lo que puede afectar su rendimiento. Al utilizar este archivo, puedes:

• Controlar el acceso de los motores de búsqueda al contenido del sitio.
• Permite la indexación solo por los bots deseados (por ejemplo, Google, Bing).
• Restringir el acceso a carpetas o archivos sensibles.

Ejemplos de uso

1. Bloqueando un motor de búsqueda específico

Para bloquear el acceso al motor de búsqueda Bing (bingbot), incluye las siguientes líneas en el archivo robots.txt:

User-agent: bingbotDisallow: /

Explicación:
User-agent: Especifica el motor de búsqueda para el cual se aplican los ajustes.
Disallow: Define las secciones del sitio a las que el robot no tiene acceso. El símbolo / bloquea el acceso a todo el sitio.

2. Bloqueando todos los motores de búsqueda

Para evitar que todos los motores de búsqueda accedan al sitio, utiliza:

User-agent: *Disallow: /

Explicación: El símbolo * (comodín) en el campo User-agent se aplica a todos los motores de búsqueda, y / bloquea el acceso a todo el sitio.

3. Restringir el acceso a ciertas carpetas o archivos

Para bloquear el acceso a una carpeta y un archivo específico, configura:

User-agent: *Disallow: /blog/Disallow: /newsletter.php

Explicación: Todos los motores de búsqueda estarán bloqueados para indexar la carpeta /blog/ y el archivo newsletter.php.

Creando el archivo robots.txt

Para crear un archivo robots.txt, puedes usar un generador en línea que te ayude a personalizar las reglas de manera rápida y sin errores. Ejemplos de generadores en línea se pueden encontrar a través de una búsqueda: Generador de Robots.txt.

Después de haber creado el archivo, súbelo al directorio raíz del sitio utilizando un administrador de archivos o un cliente FTP.