Grub, un buscador distribuido

La empresa que fundó la Wikipedia da un gran paso adelante para lanzar un buscador alternativo a Google y Yahoo!
Por José Antonio Gelado 11 de septiembre de 2007

Wikia, la empresa creadora de la Wikipedia ha adquirido recientemente la tecnología de Grub. Se trata de un motor de búsqueda distribuido, que aprovecha los periodos sin actividad de los ordenadores de los usuarios, al estilo del Seti@Home, y que pretende reducir los resultados obsoletos. El proyecto Search Wikia recibe así una valiosa herramienta y aporta a las búsquedas el método de consenso de la comunidad.

El 27 de julio de 2007 Wikia Inc., la empresa de la Wikipedia, anunció la adquisición de la tecnología del proyecto Grub a la empresa LookSmart

Grub nace en el 2000 como un proyecto de buscador de código abierto (con un nombre similar a otro proyecto, GNU Grub) que obtiene su potencia de indización y catalogación de contenidos mediante una red P2P de usuarios que ceden los recursos de sus ordenadores cuando se encuentran en un periodo de inactividad.

Es un sistema similar al que se utiliza en otros de computación distribuida como Seti@Homeo Folder@home, en los que el usuario instala un residente, que actualmente sólo estádisponible para Windows y para GNU/Linux.

Este programa, residente en el escritorio del usuario, analiza las direcciones URL y las envía en un archivo comprimido a los servidores centrales de Grub para alimentar el índice general del buscador. El objetivo es evitar la falta de actualización en los resultados obtenidos por los buscadores.

Una trayectoria compleja

Grub ha tenido una trayectoria nada sencilla hasta llegar a las manos de Wikia. La compañía LookSmart adquirió el proyecto en enero de 2003, periodo durante el que pasó a estar bajo código cerrado hasta que cesó su actividad a finales de 2005. La empresa Looksmat se dedica a la gestión de búsquedas temáticas y publicidad, y es propietaria de Furl, un popular gestor social de favoritos.

El 27 de julio de 2007 Wikia Inc., la empresa de la Wikipedia, anuncióla adquisición de la tecnología del proyecto Grub a la empresa LookSmart y su puesta en común por completo como proyecto Open Source.

El programa, residente en el escritorio del usuario, analiza las direcciones URL y las envía en un archivo comprimido a los servidores centrales de Grub para alimentar el índice general del buscador

Según anunció Jimmy Wales, cofundador y responsable de Wikia, tras la compra se podría aplicar a las búsquedas el consenso obtenido mediante la comunidad y beneficiarse de su integración con el proyecto Search Wikia, para hacerlo más abierto y transparente.

La reticenciade los usuarios ante la idea de compartir ancho de banda y recursos con un proyecto que pertenecía a una empresa dedicada a la gestión de publicidad se minimizaría a partir de la entrada en escena de la comunidad de la Wikipedia. Grub aportará su tecnología al proyecto Search Wikia, que en la actualidad utiliza como sistemas de búsqueda e indización Nutchy Lucene.

Search Wikia: hacia el buscador del futuro

El proyecto Search Wikia se centra en cuatro aspectos: social, computación distribuida, web semántica y estándares. La adquisición de Grub potenciará el Laboratorio Distribuido y permitirá su integración en otras áreas.

La tecnología de Grub permite una exploración de los enlaces y su posterior indexación de forma distribuida entre miles de equipos, que se activan cuando entra en funcionamiento el salvapantallas tras un periodo de inactividad. El usuario puede ver en su pantalla la evolución del análisis y las direcciones exploradas, así como el ancho de banda consumido en esa tarea.

El programa instalado en el ordenador de cada usuario analiza los cambios en una lista de las direcciones, mediante un código que asigna a cada página indizada, y sólo registra y envía las que han sufrido alguna modificación, liberando de esa carga al servidor central.

El proyecto Search Wikia se centra en cuatro aspectos: social, computación distribuida, web semántica y estándares

En este sistema son los ordenadores de los usuarios que deseen colaborar con el proyecto los que realizan la tarea de rastreo y análisis de las páginas y, por tanto, si el número de usuarios llega al necesario, se podría indizar una gran parte de los contenidos disponibles en Internet de forma regular.

Además, el usuario puede realizar búsquedas en las direcciones de las páginas que ha indizado y hacer consultas mediante diversos métodos. La tecnología de Grub ya está disponible y se puede probar para realizar búsquedas en Wisenuty en la web del proyecto.

Sigue a Consumer en Instagram, X, Threads, Facebook, Linkedin o Youtube