Ginfierno, el Infierno de Google

Anatomía de una Emergencia

Acostumbrado, como siempre, a ver los robots de Yahoo y Google (a veces acompañados por otros) recorriendo el foro de CHW,  rara vez me detengo a mirar qué robot está indexando nuestro sitio. Sin embargo, al rededor del 4 de abril me llamó la atención ver que, aunque Yahoo seguía copando el foro con sus cientos de arañitas, Google estaba ausente.

Mad Meg, de Peter Bruegel el Viejo. Una pincelada del infierno

Entré al servicio Google Webmaster Tools,  y me encontré con el mensaje: “Google accedió por última vez a su sitio el 02 de abril de 2008″. Es más, el servicio reportaba que el archivo robots.txt arrojaba un timeout, ergo, que Googlebot no lograba verlo.

We can’t currently access your home page because of a timeout.

http://www.chw.net/	robots.txt timeout	Apr 4, 2008
http://www.chw.net /19/0.html	robots.txt timeout	Apr 4, 2008
http://www.chw.net /19/38.html	robots.txt timeout	Apr 3, 2008
http://www.chw.net /19/95.html	robots.txt timeout	Apr 3, 2008

Pensando que en una de las diversas ediciones que había hecho a ese archivo pude haber dejado un error de sintaxis, lo quité temporalmente y esperé a ver qué pasaba. El resultado: el error pasó de robots.txt timeout a  “network unreachable”. Conclusión: el problema no era el robots.txt, sino el sitio en sí.

En las horas y días que siguieron, revisamos el CHWserver de punta a cabo, verificamos todos los sistemas de seguridad pensando que por accidente habíamos bloqueado al Googlebot. Verán, este bichito es tan agresivo para indexar los sitios, que podría gatillar alertas de seguridad que lo bloqueasen como un ataque de denegación de servicio. Sin embargo, el análisis arrojó que aquel no era el problema.

Buscando -irónicamente- en Google, encontramos testimonios de otros afectados por una circunstancia similar, en donde por desgracia no se daban soluciones, excepto algunos casos en que el problema era culpa de la empresa de hosting, que en sus DNS bloqueaban a Googlebot para evitar tantas peticiones. Contactamos entonces a The Planet, en donde nos dijeron que ellos no bloqueaban al bichito. ¿Había que creerles? Los foros en donde trataban este problema estaban plagados con afirmaciones como: “Tu proveedor lo negará, pero en realidad sí bloquean a Googlebot. Insiste”. Eso hicimos, y logramos que revisaran sus logs obteniendo la misma negativa como respuesta. Tuvimos que creerles pues, mal que mal, no había errores para TecnoSquad o BotonTurbo que se alojan en la misma empresa… pero en un servidor aparte.

De vuelta a revisar el servidor, y de nuevo nada. Creamos sitios de prueba en esta misma máquina, con otros dominios, y Google los revisó sin problemas. ¿Era, entonces, Chilehardware.com como dominio, el problema? Aparentemente sí, y en ese caso la culpa era de Google por no ser capaz de resolver el dominio a nuestra IP.

Era hora de hablar con Google, pero comunicarse con Google resulta prácticamente imposible. Su “formulario de contacto” en realidad es un laberinto de preguntas frecuentes en donde, por supuesto, nunca encuentras tu duda puntual. No hay ningún campo de texto como para enviar esa duda a soporte.

Los días corrían, y a medida que el Googlebot intentaba revisar URLs que antes había indexado, y no podía, esas URL salían del índice principal de Google. No sólo no estaban apareciendo los nuevos threads, reviews y artículos, sino que otros se estaban borrando de sus índices.

No sólo pasamos de tener 50 a 60 mil URLs indexadas diariamente a un cero rotundo, sino que las visitas bajaron. Como casi todos los sitios web del planeta, Google es la principal fuente de tráfico y perdiendo posiciones en él, pasamos de un promedio de 55.000 visitas diarias (en el tramo fuerte de Lunes a Jueves) a 51.000 y luego 48.000.

Los intentos siguieron, tiramos, como dicen los gringos, todos los cordeles. Agotamos los contactos, y en particular Roberto Alamos y Paolo Colonello (Papá de Bligoo) nos apoyaron con sugerencias, teorizaron con nosotros sobre las razones del error, buscaron contactos internos de Google y nos palmotearon la espalda como dándonos el pésame. En tanto, nosotros volvimos a revisar los logs, el firewall y la seguridad en general. Sacamos el sitio del DNS de The Planet y contratamos un DNS externo, pero el problema siguió y los días pasaron.

Quiso el destino que el sabado 12 de abril, me logueara en el servicio Google Webmasters, encontrara como cada día el mensaje de error, volviera a enviar el sitemap (un ritual que hacía sólo como insistencia irracional diariamente) y, esta vez, el sitemap fue aceptado correctamente. Me froté los ojos, comprobé todo de nuevo, y era verdad: habíamos salido del Ginfierno, el infierno de Google que puede hacer desaparecer un sitio completo.

En las páginas siguientes: reflexiones, casos de estudio y nuestra opinión.