Over 10 years we helping companies reach their financial and branding goals. Onum is a values-driven SEO agency dedicated.

CONTACTS
Web

Te Ayudo a Configurar Correctamente el Fichero robots.txt

Hoy vamos a hablar un poquito sobre el SEO y a aprender cómo configurar correctamente el fichero robots.txt. Este archivo es esencial para cualquier sitio web que quiera optimizar su visibilidad en los motores de búsqueda.

¿Qué es el fichero robots.txt?

El fichero robots.txt es un archivo de texto simple que se coloca en el directorio raíz de tu sitio web. Su función principal es indicarle a los motores de búsqueda qué páginas o secciones de tu sitio deseas que rastreen y cuáles no. De esta forma, puedes controlar el acceso de los bots a tu contenido y mejorar tu estrategia de SEO.

Paso 1: Creación del fichero robots.txt

Para empezar, necesitas crear el fichero robots.txt. Si no tienes uno, no te preocupes, es muy sencillo. Abre un editor de texto (como el Bloc de Notas en Windows o TextEdit en Mac) y guarda el archivo como “robots.txt”. Asegúrate de que esté en formato de texto plano.

Paso 2: Definir los User-agents

Los user-agents son los rastreadores o bots de los motores de búsqueda. El más conocido es Googlebot, pero hay muchos otros como Bingbot, YandexBot, etc. En el fichero robots.txt, puedes especificar reglas para todos los bots o para cada uno individualmente.

User-agent: *
Disallow: /privado/

En este ejemplo, estamos diciendo que todos los bots (User-agent: *) no deben rastrear la carpeta /privado/.

Paso 3: Usar Disallow y Allow

Las directivas “Disallow” y “Allow” son las claves para controlar el acceso. “Disallow” indica qué páginas o carpetas no quieres que sean rastreadas, mientras que “Allow” permite explícitamente el acceso a determinadas páginas dentro de una carpeta bloqueada.

User-agent: *
Disallow: /imagenes/
Allow: /imagenes/abierta.jpg

Aquí estamos bloqueando la carpeta /imagenes/ pero permitiendo el acceso a /imagenes/abierta.jpg.

Paso 4: Añadir el Sitemap

Incluir la ubicación de tu sitemap en el fichero robots.txt es una buena práctica. El sitemap ayuda a los motores de búsqueda a encontrar y rastrear todas las páginas importantes de tu sitio.

Sitemap: https://tu-sitio.com/sitemap.xml

Este es un ejemplo simple de cómo añadir tu sitemap. Asegúrate de reemplazar “https://tu-sitio.com/sitemap.xml” con la URL real de tu sitemap.

Paso 5: Prueba y Verifica

Una vez que hayas configurado tu fichero robots.txt, es crucial probarlo para asegurarte de que funciona como esperas. Puedes usar la herramienta de prueba de robots.txt de Google Search Console para verificar que no haya errores y que las reglas estén configuradas correctamente.

  1. Sube el archivo: Coloca el fichero robots.txt en el directorio raíz de tu sitio web.
  2. Prueba las URLs: Usa la herramienta de prueba de robots.txt de Google para verificar que las URLs que quieres bloquear estén efectivamente bloqueadas y las permitidas sean accesibles.

Ejemplo Completo

Para consolidar todo lo que hemos aprendido, aquí tienes un ejemplo completo de un fichero robots.txt bien configurado:

User-agent: *
Disallow: /admin/
Disallow: /privado/
Allow: /privado/pagina-publica.html
Sitemap: https://tu-sitio.com/sitemap.xml

En este ejemplo:

  • Bloqueamos el acceso a la carpeta /admin/ y /privado/.
  • Permitimos el acceso a una página específica dentro de la carpeta /privado/.
  • Incluimos la URL del sitemap para facilitar el rastreo.

Conclusión

Configurar correctamente el fichero robots.txt es una habilidad esencial para cualquier webmaster o especialista en SEO. Siguiendo estos pasos, podrás controlar mejor cómo los motores de búsqueda interactúan con tu sitio web, mejorando así tu visibilidad en los resultados de búsqueda.

Recuerda, en Pixmedia estamos aquí para ayudarte en cada paso del camino. Si necesitas más ayuda o tienes alguna pregunta sobre SEO y marketing digital, no dudes en contactarnos. ¡Juntos, podemos llevar tu sitio web al siguiente nivel!

Author

Mtro. William Velázquez Valenzuela

Master en Mercadotecnia y apasionado emprendedor, me he dedicado a explorar y dominar las diversas facetas del marketing, desde las estrategias tradicionales hasta las más innovadoras tendencias digitales. Como Webmaster experimentado, combino mi conocimiento técnico con una visión creativa para crear experiencias web únicas que conectan y convierten. Mi misión es ayudar a las empresas a encontrar su voz única en el vasto mundo digital y a alcanzar nuevas alturas en su crecimiento y éxito.

Deja tu comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *