Scrapy vs. Puppeteer para el Scraping web

TL;DR

• Scrapy es un marco de trabajo de Python que requiere conocimientos de clases y estructura de canalización para el Scraping web.
• Puppeteer es una herramienta de navegador sin interfaz gráfica de Node.js con funciones de navegación e interacción con elementos.
• Scrapy procesa docenas de páginas de forma asíncrona con una latencia inferior a un segundo a través de solicitudes HTTP.
• Puppeteer descarga todos los recursos y renderiza páginas completas, lo que lo hace más lento y consume muchos recursos.
• Scrapy destaca en el scraping de páginas estáticas de gran volumen, pero necesita middleware para el contenido dinámico.
• Puppeteer maneja de forma nativa sitios dinámicos, interacciones de usuarios, renderización de JavaScript y generación de capturas de pantalla.

Los asistentes de IA, como ChatGPT y Gemini, nunca habrían visto la luz si no fuera por la enorme cantidad de contenido con el que se entrenaron estos grandes modelos de lenguaje (LLM). Una parte significativa de este contenido se adquirió mediante la práctica del Scraping web.

El scraping web no solo es útil para entrenar LLM, sino que también se puede utilizar para el análisis de mercado, el Monitoreo de precios y la generación de clientes potenciales.

En este artículo, compararemos dos herramientas populares que se utilizan para el Scraping web: Scrapy y Puppeteer. Scrapy se diseñó pensando en el Scraping web, mientras que Puppeteer es un marco de emulación de navegador sin interfaz gráfica. Cabe señalar que Scrapy se creó para Python, mientras que Puppeteer se desarrolló para Node.js. Sin embargo, existe un puerto Python disponible para Puppeteer llamado pyppeteer.

A lo largo de este artículo, verás la facilidad de uso, la velocidad de scraping, las características, el soporte de la comunidad y los casos de uso de cada herramienta. Al final del artículo, tendrás una idea más clara de qué herramienta puede ser la adecuada para ti.

Scrapy vs. Puppeteer: facilidad de uso

Scrapy es un marco completo que requiere conocimientos sobre las clases antes de poder empezar a utilizarlo. Por ejemplo, la clase principal de Scrapy es una araña, que es una definición de qué páginas deben rastrearse y qué elementos deben ser objeto de Parseo. Hay multitud de otras clases, como item, selector e ItemLoader. Y todas estas clases se utilizan mejor dentro del concepto de un pipeline.

Aunque la documentación es extensa, el uso de Scrapy requiere algunos conocimientos previos sobre la forma en que debe estructurarse el código.

Para instalar Scrapy y crear una estructura de proyecto, puede ejecutar los siguientes comandos en su terminal:

pip install scrapy
scrapy startproject <nombre_del_proyecto>

En comparación, Puppeteer simplemente ofrece varias funciones que se pueden utilizar para manipular un navegador sin interfaz gráfica: navegar a un sitio web y seleccionar o hacer clic en elementos. Depende del desarrollador estructurar su código correctamente.

Para empezar a utilizar Puppeteer solo hay que ejecutar un único comando. No es necesario crear una estructura de proyecto específica:

npm install puppeteer

En comparación, Puppeteer simplemente ofrece varias funciones que se pueden utilizar para manipular un navegador sin interfaz gráfica: navegar a un sitio web y seleccionar o hacer clic en elementos. Depende del desarrollador estructurar su código correctamente.

Para empezar a utilizar Puppeteer solo hay que ejecutar un único comando. No es necesario crear una estructura de proyecto específica:

npm install puppeteer

Scrapy vs. Puppeteer: rendimiento

Debido a sus diferentes enfoques, Scrapy y Puppeteer difieren significativamente en términos de velocidad de scraping.

Scrapy envía una solicitud HTTP a un servidor y procesa la respuesta para ese único recurso (en su mayoría HTML). Este enfoque permite a Scrapy procesar docenas de páginas de forma asíncrona, recorrer el DOM y seleccionar los elementos necesarios, todo ello con una latencia inferior a un segundo.

Puppeteer adopta un enfoque completamente diferente. Como software de emulación de navegador, navega a un sitio web, descarga todos los recursos (como imágenes o scripts externos) y los carga en la memoria del navegador. No se recomienda ejecutar de forma asíncrona varios navegadores sin interfaz gráfica, ya que podría suponer una gran carga para el rendimiento del dispositivo, lo que dificultaría aún más el procedimiento de scraping. Está claro que Puppeteer no destaca por su velocidad.

Scrapy vs. Puppeteer: Características

Scrapy tiene tres características destacadas: Scrapy shell, middleware y contratos:

• Scrapy shell
• Scrapy admite la integración con otras bibliotecas a través de su clase de middleware para abordar casos de uso específicos. Por ejemplo, Chompjs se puede utilizar para el parseo de objetos JavaScript, y Playwright para Python se puede utilizar dentro de una araña para navegar por sitios web con contenido cargado dinámicamente. Estas funcionalidades se pueden integrar fácilmente en Scrapy mediante el uso de la clase de middleware de Scrapy.
• Una araña Scrapy puede estar limitada por un contrato, que es una especie de prueba para determinar si la página que carga una araña se ajusta a las expectativas. Por ejemplo, un individuo puede añadir un contrato para comprobar si una página se carga con la suficiente rapidez o si contiene el número de elementos requerido. También es posible desarrollar contratos personalizados.

Scrapy también cuenta con un amplio conjunto de funciones para evitar ser bloqueado por medidas antibots. Esto incluye la integración con servidores Proxy y la rotación de huellas digitales del navegador (como User-Agent).

Puppeteer también tiene algunas funcionalidades únicas, como la generación de capturas de pantalla, la interactividad y el seguimiento de la línea de tiempo. Dado que Puppeteer emula un navegador completo, renderiza una página web en su totalidad. El resultado es que Puppeteer puede traducir la página renderizada en una captura de pantalla o incluso en un PDF.

Puppeteer no tiene problemas para renderizar sitios web dinámicos y ofrece las herramientas necesarias para interactuar con ellos. Al seleccionar elementos, insertar texto y hacer clic en botones, Puppeteer puede incluso utilizarse para enviar formularios. Esta es una de las principales razones para elegir Puppeteer (más adelante se ofrece más información al respecto).

Puppeteer también admite Proxies rotativos, y su huella digital del navegador se puede manipular ajustando los parámetros del navegador de forma individual. Si ajustar manualmente estos parámetros resulta demasiado difícil, Puppeteer también cuenta con un complemento conocido como«stealth», que facilita las cosas.

Otra característica interesante de Puppeteer es su capacidad para generar auditorías de rendimiento web. Esto no solo es útil para probar sitios web, sino que también se puede utilizar para identificar si el servidor del sitio web está limitando su araña:

Scrapy vs. Puppeteer: apoyo de la comunidad

A fecha de 28 de febrero de 2024, Scrapy tiene 1800 seguidores y 52 000 estrellas en GitHub, con commits de varios usuarios casi a diario. Scrapy también tiene una comunidad en Reddit que recibe varias preguntas a la semana, y la mayoría obtiene media docena de respuestas. Si quieres aún más apoyo, Scrapy tiene una comunidad en Discord y está en Stack Overflow, donde se han formulado más de 17 000 preguntas relacionadas con Scrapy.

Por el contrario, en GitHub, Puppeteer tiene menos seguidores (1200) que Scrapy, pero tiene más estrellas (86 000) y confirmaciones diarias de varios colaboradores. Puppeteer no tiene comunidades oficialmente respaldadas en Reddit o Discord, pero se han formulado más de 8000 preguntas relacionadas con Puppeteer en Stack Overflow.

Por último, tanto Puppeteer como Scrapy cuentan con un amplio conjunto de complementos o extensiones respaldados por la comunidad y adaptados a casos de uso específicos; por ejemplo, para integrar Scrapy con navegadores sin interfaz gráfica y para realizar el parseo de sitios web dinámicos.

Casos de uso de Scrapy y Puppeteer

Hasta ahora, en este artículo, has aprendido brevemente dos casos de uso y cómo ambas herramientas destacan en uno u otro: extraer grandes volúmenes de datos estáticos o acceder a datos cargados dinámicamente.

Scraping grandes volúmenes de páginas web estáticas

Dado que Scrapy simplemente carga el DOM de una página de destino, es la mejor opción para proyectos de scraping a gran escala con datos repartidos en miles de páginas. Como puede funcionar de forma asíncrona y no descarga recursos adicionales, Scrapy puede visitar varios sitios web al mismo tiempo, scraping fácilmente docenas de sitios web con una latencia inferior a un segundo. Por ejemplo, si quieres descargar todos los comentarios de la sección de comentarios de todos los artículos de tu sitio web de noticias favorito, Scrapy es la mejor opción.

Por el contrario, si quisieras que Puppeteer hiciera lo mismo, no podría cargar solo la página individual por completo en el navegador. También descargaría imágenes adicionales, scripts y otros objetos incrustados para renderizar el sitio web por completo, como es de esperar de una herramienta diseñada para probar aplicaciones web. Esto genera una gran sobrecarga que a menudo no es necesaria cuando la lista de páginas contiene únicamente contenido estático y sería mucho más lento que usar Scrapy.

Extracción de contenido de páginas web dinámicas

Hoy en día, la web no se centra solo en mostrar información en páginas web, sino también en la interactividad. Muchos sitios web se han convertido en interfaces gráficas de usuario (GUI), lo que significa que pueden darse los siguientes escenarios:

• Los comentarios se ocultan detrás de un botón «Leer comentarios » que los añade a la página.
• El contenido se agrupa en pestañas y detrás de ellas.
• Los artículos están ocultos tras muros de pago y requieren iniciar sesión y enviar CAPTCHAs.
• Algunos sitios web existen en una sola página y muestran contenido que viene determinado por el comportamiento de navegación del usuario.

Scrapy no puede manejar este tipo de contenido de forma inmediata. El rastreo de sitios web dinámicos requeriría la integración con middleware, como Splash, o el uso de una herramienta de emulación de navegador, como Playwright o Selenium.

Este caso de uso es donde Puppeteer realmente supera a Scrapy. Su paradigma de navegador sin interfaz gráfica le permite cargar completamente las páginas web, y su código JavaScript ofrece la interactividad de un sitio web. En lugar de intentar acceder a ciertos elementos HTML que aún no se han cargado, Puppeteer puede interactuar con la aplicación web, esperar a que se carguen los elementos HTML (y sondear su existencia), seleccionarlos y descargar su contenido cuando estén disponibles.

Es importante señalar que Scrapy y Puppeteer pueden integrarse mediante el móduloscrapy-pyppeteer. Este módulo puede ser útil si está convencido del marco de trabajo de Scrapy, pero necesita un navegador sin interfaz gráfica para acceder a contenido cargado dinámicamente.

Conclusión

Scrapy y Puppeteer son herramientas que siguen paradigmas completamente diferentes e incluso se han diseñado con objetivos distintos. Sin embargo, ambas pueden utilizarse para extraer contenido web. Debido a estas diferencias en su enfoque, Scrapy es la solución ideal para extraer grandes volúmenes de datos, mientras que Puppeteer es la mejor opción para navegar por sitios web que muestran determinado contenido tras una interacción específica del usuario.

Sin embargo, estas herramientas también tienen puntos en común. Sus comunidades son en cierto modo comparables y son más o menos iguales en cuanto a facilidad de uso. También tienen características comunes, como la huella digital del navegador y la rotación de proxies.

Si está buscando un conjunto de herramientas para industrializar sus esfuerzos de rastreo, considereBright Data, que ofrece millones de servidores Proxy, API de rastreo, un navegador diseñado específicamente para el rastreo y conjuntos de datos fácilmente accesibles. Bright Data también cuenta con una gran cantidad de documentación sobre Scraping web. Por ejemplo, puede obtener más información sobreel Scraping web con Puppeteery explorar las integraciones conPuppeteeryScrapy.

A continuación, compara Puppeteer y Selenium.