Foro de Posicionamiento y Buscadores

qwerty_wq · AllTheWeb fue el mejor Registrado: 31 May 2005 Mensajes: 76

Llevaba tiempo viendo crecer de forma impresionante el número de páginas indexadas en una de las webs que llevo, así que hoy me puse a investigar y resulta que de cerca de 80000 páginas indexadas, más de la mitad corresponden a páginas con etiqueta noindex,nofollow y restringidas por robots.txt. En el índice de Google aparecen listadas con la URL por título y sin descripción ni posibilidad de acceso a la cache, pero curiosamente con la opción de traducción.

Resulta que las páginas están todas dentro de un directorio /usuario/ que, obviamente, corresponde a opciones de usuarios y a perfiles de los mismos. Y lo más curioso es que cuando accedo a la herramienta de "Análisis de robots.txt" de Webmasters Tools, y pruebo a introducir las URLs que me ha indexado me aparece que están bloqueadas en base a mi archivo robots.txt actual. Además, todas estas URLs me aparecen como "bloqueadas" en el diagnóstico del rastreo. Es más, como dije antes, cada página muestra una META noindex,nofollow que es un copy&paste exacto de la que recomienda Google.

¿Alguien sabe qué cachondeo es éste? Y lo peor de todo es que esas páginas casi no tienen contenido, ya que se basan exclusivamente en formularios, que son todos iguales.

¿Ha podido penalizarme Google por tener tantas páginas iguales indexadas?

Desde luego, lo que pienso hacer es mostrar un error 404 a Googlebot, esperemos a ver si se digna a desindexarme las páginas que no tenía que indexarme, porque esto no es serio.

Menudo cabreo me llevo encima Evil or Very Mad

carlose · Publicado: Mar Ene 06, 2009 10:01 am **Asunto**:

A mí me paso algo similar. Me indexaba directorios restringidos por robots.txt
El problema estaba en que tenía puesto el generador de sitemap de Google de forma que rastreaba los logs del servidor para encontrar páginas. Entonces no respetaba el robots.txt

Solución: agregar una restricción para el directorio que no quería que se indexase en el generador de sitemap y dar de baja las url en webmaster tool.

Al día siguiente o a los 2 días desaparecieron de Google y no han vuelto a aparecer.

Espero que si tu caso no es el mismo por lo menos te pueda haber dado alguna idea, suerte.

qwerty_wq · Publicado: Mar Ene 06, 2009 10:21 am **Asunto**: