MataBlogs

Hace casi 2 años lei un papel, o sea las notas de un ingeniero de IBM sobre Web-Spiders, lo cual me llamo mucho la atención. Pero que son los “webspiders”, bueno son programas que se encargan obtenerla información de los sitios webs para luego indexarla en buscadores, sistemas de clasificación u otro fin mas paranoico.

Con esta información que habia despertado mi atención, cree una pequeña aplicación a la que llame “robotobor” (nombre en honor al chatbot de CQC de 10 años atras).

Robotobor se encarga en una primera fase de obtener el contenido de un RSS (Lo puede hacer de la web directamente, pero es mas fácil con XML como el que usa el RSS), hacer unas verificaciones, leer el mismo para buscar y machear palabras claves. Prácticamente puede buscar cualquier palabra frase o incluso texto dentro de la base que generamos para el contenido.

No es tan fácil, hay que definir unas variables, como palabras claves texto y traducirlas a un lenguaje matemático para que la búsqueda sea 100% exitosa. Hace 2 años tenia tiempo extra y muchas ganas de que funcionara todo, afine la aplicacion para que busque links a programas, juegos, vídeos, películas, música y XXX.

En 2 años la base de datos de robotobor tiene mas de 600.000 links, 400.000 millones de artículos y cerca de 40.000 fuentes de información que cambian constantemente. De toda esta información solo cerda de 5% es útil y de este 5% se deben filtrar la información que no funciona (links muertos, publicidad y spam). Nos deja cerca de unos 100 “post” diarios, digo post por que la información ve directamente a un foro, el cual no iba a ser un rejunte de porno, películas, programas y juegos. Este foro se llama “have-a-live.com”, después de 2 años, el foro a ganado cierto reconocimiento en el mundo de los “links sharing”, mas que nada por la pornografía que existe en el mismo.

El día jueves mientras estaba “boludeando” como siempre, me llega un aviso de mi proveedor, avisándome que tenia 24 horas para eliminar “un archivo” de mi servidor, el cual estaba violando el “Digital Millennium Copyright Act of 1998″, obviamente me dieron la evidencia (les recuerdo que mi sitio, no guarda piratería alguna, solo los links a la piratería), esta evidencia era una foto de menos de 100 pixeles… WTF?!?! también me dieron la información para contactar al dueño de los derechos de esta imagen, el cual me destaco todos los links que me podrían generar problemas. Discutiendo con otro “pirata” que en estos dias esta siendo literalmente acosado por abogados, no me dieron muchas ganas de mantenerlo, por lo que lo que cerre el sitio.

La verdad es que estaba ganando algunos dolares con el foro, mas que nada con la cantidad de visitas que posee el mismo (entre 500 - 5000) diarias y muchos pageviews.

2 años de “investigación” dieron muchos resultados favorables, mas que nada en el desarrollo de un buscador que encuentra lo que buscas. Voy a cambiar el formato del sitio, asi como el servicio brindado, no sera mas una fuente de links, si no un buscador completo.

Veremos si en unos años mas ganamos un poco de mercado, aun faltan definir muchas cosas, como algoritmos de búsqueda, profundizar mas en la inteligencia del mismo, pero debera dar muy buenos resultados.