Integración de Proxy con Scrapy

Esta guía puede estar desactualizada. Para una guía actualizada, consulta nuestra documentación.

¿Qué es Scrapy?

Scrapy es un framework de Python para crawling y scraping web, que permite a los usuarios extraer datos estructurados de sitios web. Es de código abierto, rápido y extensible. Scrapy puede utilizarse para diversos fines, como minería de datos, monitoreo y pruebas automatizadas.

Obtener proxies para Scrapy

Integración de Scrapy con proxies de Bright Data

Abre tu IDE preferido e inicia un nuevo proyecto de Scrapy, escribe en la línea de comandos:

      scrapy startproject <project_name>

Esto creará una nueva carpeta con el nombre del proyecto; dentro de la carpeta, abre un archivo Python.

Ve a tu Panel de Control de Bright Data y haz clic en el ícono ‘Proxies & Scraping Infra’
Crea una nueva zona de Proxy haciendo clic en ‘Agregar’, eligiendo un tipo de red, configurando el Proxy y haciendo clic en guardar
En la pestaña ‘Parámetros de acceso‘ de tu zona de Proxy, encontrarás los valores ‘USERNAME‘ y ‘PASSWORD‘.
En tu archivo de código del spider de Scrapy, dentro del parámetro meta de la solicitud, establece el valor ‘proxy’ como el siguiente, usando los valores ‘USERNAME‘ y ‘PASSWORD‘ anteriores: “http://USERNAME:[email protected]:33335“
Por ejemplo:

      import scrapy



class BrightdatascrapyexampleSpider(scrapy.Spider):

   name = "BrightDataScrapyExample"



  def start_requests(self):

       request = scrapy.Request(url="http://example.com",callback=self.parse)

       request.meta['proxy'] = "http://USERNAME:[email protected]:33335"

       yield request



   def parse(self, response):

       print(response.body)

Luego ejecuta el siguiente comando en tu línea de comandos:

      scrapy runspider <Pythonfilename.py>

Cómo usar el Administrador de Proxy de Bright Data con Scrapy

Crea una zona de Proxy igual que en la integración directa anterior
Instala el Administrador de Proxy
Haz clic en ‘agregar nuevo puerto’ y configúralo para tu caso de uso
En tu archivo de código del spider de Scrapy, dentro del parámetro meta de la solicitud, establece el valor ‘proxy’ como el siguiente: “http://IP:PORTNUMBER”
La IP del host local es 127.0.0.1 – este es el valor que debes usar si el administrador de Proxy está instalado en tu máquina. Si el administrador de Proxy está instalado en un servidor externo, ingresa la dirección IP de ese servidor
El puerto creado en el Administrador de Proxy es 24XXX, por ejemplo, 24000 – el número de puerto predeterminado inicial
Por ejemplo:

      import scrapy



class BrightdatascrapyexampleSpider(scrapy.Spider):

   name = "BrightDataScrapyExample"



   def start_requests(self):

       request = scrapy.Request(url="http://example.com",callback=self.parse)

       request.meta['proxy'] = "http://127.0.0.1:24000"

       yield request



   def parse(self, response):

       print(response.body)

⚠️Nota importante: Si estás usando los Proxies residenciales, Web Unlocker o API SERP de Bright Data, debes instalar un certificado SSL para habilitar conexiones seguras de extremo a extremo con tus sitios web de destino. Es un proceso sencillo, consulta https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate para obtener instrucciones.

Obtener proxies para Scrapy

Prueba gratuita

Alimentado por una infraestructura de proxy residencial galardonada

Más de 400M+ monthly de IP residenciales, la mejor tecnología de su clase y con capacidad de apuntar a cualquier país, ciudad, operador y ASN, hace de nuestros servicios de proxy premium la mejor opción para los desarrolladores.