Foro de Posicionamiento y Buscadores

capitanregge

Hola, tengo una duda con el Revist After

Si pongo 1 día, realmente el boot pasará todos los días o interpretará que es una pagina que cambio y volverá a visitar la página cada vez que pueda lo antes posible?

Ahora si pongo revist after 20 days, vendrá cada 20 dias ?

La pregunta es porque tengo un gran consumo de ancho de banda, ayer en un momento se me colgó el sitio y del host me putearon mas o menos. Miré el log y por un momento se dio que el boot de google y yahoo estaban recorriendo las paginas que no son pocas, más de 10.000

Hay paginas que cambian todos los dias, otras semanalmente y otras cada mes o menos, El tema es que mi gestor de contenidos tiene una opcion de personalizar el metatags pero el que ponga aplica a todo el sitio, si pongo 1 es todo el sitio 1 day, si pongo 10 dias es todo el sitio

Lo tengo en 4 days, si lo bajo el server tiene problemas, el problema es que tengo paginas que cambian todos los dias, incluso varias veces en el dia

Vale la pena pagarle al programador una customizacion del gestor para darle a cada pagina el revist after que le sea conveniente? (no es barato eso ni facil parece) o realmente NO LE DAN BOLA los motores? pregunto para decidir el presupuesto, acepto sugerencias

Gracias
_________________
Buscador Argentino
Alta en Directorio Web en Español

JustMe · Publicado: Jue Jul 31, 2008 1:19 pm **Asunto**:

Yo no gastaría ni un minuto, ni un céntimo en implementar ningún meta tag diferente a description y tal vez keywords, el resto es simplemente ignorado por los robots que importan.
Pon una regla "Crawl-delay" en el robots.txt , esto para robots diferentes a googlebot. Para googlebot existe en el panel de webmasters tools una "herramienta" para subir o bajar la frecuencia de rastreo.
_________________
PHP Data uri fier
Blog Gratis

capitanregge · Publicado: Jue Jul 31, 2008 2:46 pm **Asunto**:

y como es eso del Crawl-delay ? que pongo, recuerden que no soy tecnico

gracias por el consejo

el tema de sitemap si lo uso, el asunto es que si bajo la frecuencia dice que no podran rastrear muy seguido el sitio y como dije antes, hay paginas que son permanentemente actualizadas y otras no, por ello queria de alguna manera indicar a caules visitas todo el tiempo y cuales no me importa

Ahora bien, si es ignorado segun dices entonces significa que nada tiene que ver la frecuencia indicada con las colgadas del server cierto?

queria hacer programar para evitar bombas ese control de que si una ip entra muy seguido sea bloqueada el tema es que como no dejar caer en la red a los buscadores, si bien puedo identificar y habilitar ip son muchas y cambian todo el tiempo, cononcen algun metodo confiable para evitar bombas que colapsen la base de datos?

Saludos
_________________
Buscador Argentino
Alta en Directorio Web en Español

powertcp · Publicado: Jue Jul 31, 2008 3:00 pm **Asunto**:

Coincido con JustMe yo no perderia el tiempo con esas metas, no creo que google te rastree cada dia por mucho que le digas en el revist after.

Yo en cambio aunque tampoco creo que haga ningún caso, uso el <changefreq> en el sitemap, en algunas de mis paginas lo uso porque me sale automatico y no me ocasiona ningún esfuerzo.
_________________
Turismo en Valencia

JustMe · Publicado: Jue Jul 31, 2008 3:44 pm **Asunto**:

Información de yahoo sobre el Crawl-Delay, es válida también para live (msn), exalead, cuil, twiceler y otros, no para google que es demasiado orgulloso como para implementar ideas que se saben abiertamente que son de otros.

Podrías poner un flood control que es básicamente un sistema que después de n peticiones en determinado tiempo x bloquea al cliente usualmente enviando una pagina vacía con un error 503, pero si bloqueas mucho al bot de google puede enfadarse y ya sabes.
_________________
PHP Data uri fier
Blog Gratis

ivalladt · Me gusta MSN! Registrado: 17 Mar 2008 Mensajes: 434

JustMe · Publicado: Jue Jul 31, 2008 8:47 pm **Asunto**:

De hecho, si se puede hacer ping a google. Que sirva de algo, eso ya es otro tema.
_________________
PHP Data uri fier
Blog Gratis

SEOcharlie · Publicado: Jue Jul 31, 2008 11:21 pm **Asunto**:

Como bien te han dicho, tampoco gastaría dinero ni tiempo en colocarlo dentro de cada página o algo por el estilo...
Y quizás hayas pensando en robots.txt para excluir carpetas o páginas que no deseas que te visite la araña... aunque sea por períodos temportales. Rolling Eyes

_________________
Blog de Posicionamiento en Buscadores
Costa Rica SEO