El mejor robots.txt para WordPress y mejorar en Google Panda Update

Estos días he estado investigando sobre el mejor robots.txt para WordPress y mejorar en Google Panda Update. Y es que a día de hoy tenemos que evitar cualquier contenido duplicado sino Google nos puede penalizar.

Podéis ver el mio en:

http://noticiasdehumor.com/robots.txt

El contenido es el siguiente:

Sitemap: http://noticiasdehumor.com/sitemap.xml.gz

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /tag/*

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Adsbot-Google
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Googlebot-Mobile
Disallow:

Depende mucho de la estructura que tengáis en vuestro blog y lo que consideréis indexable. Para mi, solo los post y las categorías, siendo estas últimas contenido relevante.
¿Vosotros como lo veis?

victor lopez Sobre mí Esta noticia ha sido creada el 2 diciembre 2011 a las 16:30 en InicioActualidadEl mejor robots.txt para WordPress y mejorar en Google Panda Update y si quieres puedes comentarla.
Si te ha gustado El mejor robots.txt para WordPress y mejorar en Google Panda Update y esta web, puedes seguirla a través de Facebook, Twitter y también puedes recibir las nuevas noticias de la web en tu correo pincha en este enlace para darte de alta. Además también puedes seguir las noticias por RSS.