El mejor robots.txt para WordPress y mejorar en Google Panda Update

Estos días he estado investigando sobre el mejor robots.txt para WordPress y mejorar en Google Panda Update. Y es que a día de hoy tenemos que evitar cualquier contenido duplicado sino Google nos puede penalizar.

Podéis ver el mio en:

https://noticiasdehumor.com/robots.txt

El contenido es el siguiente:

Sitemap: https://noticiasdehumor.com/sitemap.xml.gz

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /tag/*

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Adsbot-Google
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Googlebot-Mobile
Disallow:

Depende mucho de la estructura que tengáis en vuestro blog y lo que consideréis indexable. Para mi, solo los post y las categorías, siendo estas últimas contenido relevante.
¿Vosotros como lo veis?

Victor

Me llamo Víctor López y nací en Zaragoza el 16 de Diciembre de 1984.Esta web la monté exactamente el 23 de Mayo del 2005 con la idea de publicar mis experiencias personales, cosas curiosas que veía a mi alrededor (tanto en Internet como en mi vida) y el poder tener mi propio espacio web en la red. Si quieres puedes ver las estadísticas del año 2010.Ingeniero Superior en informática (terminé la carrera en 2006), desde pequeño ya estaba totalmente convencido a lo que me iba a dedicar en mi vida, la informática. Quizás porque mi padre tenía un Spectrum y me pegaba horas trasteándolo o quizás porque desde pequeño siempre me han gustado “los chismes”. El caso es que empezó a gustarme este mundo de la informática.Profesionalmente soy Analista-Programador Senior en PHP y me dedico al análisis, desarrollo y programación de páginas web y al desarrollo de aplicaciones (principalmente web en PHP, empecé a programar en el año 2002 en PHP), creación, alojamiento, optimización (diseño, SEO, publicidad), puesta en marcha de webs y potenciándolas.Actualmente soy Lead Integration Engineer en EnGrande.com – BudGetPlaces.com, además de formar parte de Homein.com (anteriormente he trabajado en Atrapalo.com, Camyna.com y Sync.es).Socio fundador de Coompy.es Alquilar habitación – Compartir piso.Partidario del software libre y usuario asiduo de Ubuntu y CentOS. Fui usuario de Mac pero ahora ya he vuelto al buen camino con Linux (Ubuntu distro).Sobre mi filosofía de vida, te invito a que leas este artículo: “Tu eres el resultado de ti mismo“. Si lo lees, entenderás mi punto de vista de la vida.Intento estar lo más lejos posible de la monotonía y considero mi trabajo como un hobby, me gusta aprender cosas nuevas cada día y afrontar nuevas metas y proyectos.En mi tiempo libre me gusta practicar cualquier deporte (el fútbol especialmente), me gusta competir (sea el ámbito que sea), los coches, las buenas películas/series y viajar.Personalmente considero que lo primero en esta vida es la salud y las personas, dejando atrás otras cosas, como puede ser el dinero, la fama y todas esas chorradas, que cuanto más las tienen las personas, más las quieren y menos les importan los demás. Y creo que el respeto y educación es fundamental.Pues eso es todo, un breve resumen de mi persona.Si te quieres anunciar en mi blog, contactar conmigo ya sea para la contratación de mis servicios, ofertas, agradecimientos, quejas, insultos, amenazas y/o similares, puedes mandarme un correo cuando quieras.Mi correo personal de contacto es: http://helektron.com/contacto-personal/Puedes seguir este blog por Google Plus, Facebook, Twitter, RSS y por mail.

5 comentarios en “El mejor robots.txt para WordPress y mejorar en Google Panda Update

  • el 2-diciembre-2011 a las 6:45 pm
    Permalink

    Yo tampoco lo entiendo porque a mi modo de ver debería ser Allow ( permitir ) Les he dejado un comentario en la entrada que te remitía preguntando sobre el tema pero de momento no contestan :((

  • el 2-diciembre-2011 a las 5:51 pm
    Permalink

    Cierto, lo acabo de leer. Bueno, lo voy a cambiar, si lo recomiendan ellos 🙂

    De todas formas es extraño que en la herramienta para generar robots.txt de google pongan el Allow: / supongo que será el mismo efecto.

    Gracias!

  • el 2-diciembre-2011 a las 5:50 pm
    Permalink

    Hola Victor, ni idea. Yo es que no entiendo por eso me leo los blogs de Adsense y hoy mismo daban esa información sobre el tema de los anuncios y el robots.txt

    Aquí lo he leído http://kcy.me/61qo

  • el 2-diciembre-2011 a las 5:37 pm
    Permalink

    Hola Hispania, entonces hay que poner en todos Disallow:

    Para permitirlo ?¿

  • el 2-diciembre-2011 a las 5:24 pm
    Permalink

    Pones Allow en User-agent: Mediapartners-Google
    Allow: /

    Acabo de leer en el blog de Adsense donde recomiendan poner
    User-agent: Mediapartners-Google
    Disallow:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *