La implementación de un sitio web con un catálogo de productos puede parecer una tarea sencilla, pero cuando nos encontramos con este cliente, descubrimos que el desafío sería más complejo de lo que parecía. Aquí te contamos cómo logramos extraer, procesar y cargar miles de productos en tiempo récord, y las lecciones aprendidas en el camino.
El Reto: Un Catálogo Sin Información Previa
Todo comenzó con una visita al cliente. Nos preguntó qué necesitábamos para crear su catálogo y cuánto tiempo nos tomaría. Le mencionamos que un archivo Excel con ciertos campos sería ideal, y que estaríamos encantados de proporcionarle una plantilla para comenzar. Sin embargo, el cliente se quedó en silencio y, al hacer algunas preguntas adicionales, nos comentó que no contaban con ningún registro de sus productos: ni descripciones, ni SKU, ni fotografías. ¡Nada! Todo estaba en los sitios web de sus proveedores.
Esa revelación cambió nuestro enfoque por completo, ya que extraer manualmente esa información habría sido extremadamente lento y podría poner en riesgo el proyecto. Fue entonces cuando propusimos una solución innovadora: realizar el proceso de extracción de datos utilizando técnicas automatizadas de web scraping. Si te interesa conocer más sobre cómo trabajamos este tipo de proyectos, hemos escrito un post detallado sobre el tema que puedes leer aquí.
La Solución: Automatización y Validación de Datos
Análisis y Preparación: Comenzamos analizando los sitios web de los proveedores, identificando la estructura y los volúmenes de datos que necesitaríamos extraer, como categorías, nombres, descripciones, SKU y las imágenes de los productos.
Uso de Web Scraping: Para la extracción, desarrollamos un script que, de manera automática, navegaba por las páginas de los proveedores y capturaba la información requerida. Esto nos permitió avanzar de manera rápida y eficiente en la obtención de los datos.
Validación de Datos: La validación es una parte crucial del proceso. Comparábamos la información extraída contra los sitios web de los proveedores, verificando campos como categorías, SKU, nombres, descripciones y URLs de las imágenes. Hicimos esta validación de manera aleatoria para al menos 100 productos de cada proveedor. Posteriormente, seleccionamos los campos que serían importados y los organizamos según el formato que acepta el sistema del cliente.
El Obstáculo Inesperado y Cómo lo Resolvimos
En uno de los casos, al intentar importar la información al sistema, surgió un error con las imágenes. La importación no estaba funcionando correctamente, y nos enfrentábamos a la posibilidad de dejar más de 1,000 productos sin imágenes. Para solucionar esto, desarrollamos un script adicional que descargaba las imágenes, las convertía al formato aceptado por el sistema, las cargaba a un servidor y generaba las URLs necesarias para la importación. Este proceso permitió que el catálogo estuviera completo y funcionando perfectamente.
El Resultado: Un Catálogo de 2,700 Productos en Tiempo Récord
En tan solo una semana, logramos extraer, procesar e importar aproximadamente 2,700 productos al catálogo del cliente. Este tiempo fue extremadamente corto, considerando la magnitud del trabajo y la cantidad de información involucrada. Para el cliente, fue un logro extraordinario que le permitió reducir tiempo y maximizar sus oportunidades de negocio.
Beneficios Para el Cliente
- Reducción del tiempo para obtener su catálogo: Gracias a la automatización, el cliente obtuvo su catálogo en tiempo récord.
- Incremento en las oportunidades de negocio: Al tener su catálogo en línea, el cliente pudo captar nuevos prospectos y clientes a través de visitas al sitio web, formularios de contacto y el acceso directo a WhatsApp.
Lecciones Aprendidas y Recomendaciones
Si vas a trabajar en un proyecto de extracción de datos, ten en cuenta que el tiempo es un recurso valioso. Aunque el proceso fue eficiente, la estimación del tiempo pudo haberse mejorado, ya que la tarea individual fue bastante demandante. Es fundamental contar con un plan claro y procesos bien definidos para garantizar la eficacia y la precisión en la ejecución del proyecto.
Escalabilidad y Futuro del Proyecto con Odoo
El sitio web del cliente está desarrollado sobre Odoo un sistema ERP, lo que le permite ser escalable y, además, integrar muchos otros procesos de su negocio sin la necesidad de implementar integraciones adicionales. Esto significa que, a medida que el negocio crezca, la solución podrá adaptarse a sus necesidades, brindando una experiencia de gestión completa y eficiente.
Implementación de catálogo de productos y automatización de datos utilizando web scraping y Odoo ERP