Integración de Proxy en Scrapy

¿Qué es Scrapy?

Scrapy es un marco de Python para rastrear y raspar sitios web, que permite al usuario extraer datos estructurados de sitios web. Es de código abierto, rápido y ampliable. Scrapy puede utilizarse para diversos fines, como la minería de datos, la supervisión y las pruebas automatizadas.

Obtén proxies para Scrapy

Integración de Scrapy con proxies de Bright Data

Abre tu IDE preferido, inicia un nuevo proyecto de Scrapy y escribe en la línea de comandos:

      scrapy startproject

Esta acción creará una nueva carpeta con el nombre del proyecto. Dentro de la carpeta, abre un archivo de Python.

Ve a tu panel de control de Bright Data y haz clic en el icono «Proxies & Scraping Infra».
Crea una nueva zona proxy haciendo clic en «Añadir», eligiendo un tipo de red, configurando el proxy y haciendo clic en guardar.
En la pestaña «Parámetros de acceso» de tu zona proxy, encontrarás tus valores «USUARIO» y «CONTRASEÑA».
En el archivo de código de tu araña Scrapy, dentro del parámetro «meta» de la solicitud, establece el valor de «proxy» de la siguiente manera, utilizando los valores «USUARIO» y «CONTRASEÑA» anteriores: «http://USUARIO:CONTRASEÑ[email protected]:22225».
Por ejemplo:

      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

  def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://USERNAME:[email protected]:22225"
       yield request

   def parse(self, response):
       print(response.body)

Luego ejecuta el siguiente comando en tu línea de comandos:

      scrapy runspider

Cómo usar Proxy Manager de Bright Data con Scrapy

Crea una zona proxy igual que en la integración directa anterior
Instala Proxy Manager.
Haz clic en «añadir puerto nuevo» y configúralo según tu caso concreto.
En el archivo de código de tu araña Scrapy, dentro del parámetro «meta» de la solicitud, establece el valor «proxy» de la siguiente manera: «http://IP:PORTNUMBER».
La IP del host local es 127.0.0.1; este es el valor que debes usar si Proxy Manager está instalado en tu equipo. Si Proxy Manager está instalado en un servidor externo, introduce la dirección IP de ese servidor.
El puerto creado en Proxy Manager es 24XXX; por ejemplo, 24000 (el primer número de puerto predeterminado).
Por ejemplo:

      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

   def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://127.0.0.1:24000"
       yield request

   def parse(self, response):
       print(response.body)

Obtén proxies para Scrapy

Iniciar prueba gratuita

Alimentado por una infraestructura de proxy residencial galardonada

Más de 72 millones de IP residenciales, la mejor tecnología de su clase y con capacidad de apuntar a cualquier país, ciudad, operador y ASN, hace de nuestros servicios de proxy premium la mejor opción para los desarrolladores.