Integración de Proxy con Scrapy
Esta guía puede estar desactualizada. Para una guía actualizada, consulte nuestra documentación.
¿Qué es Scrapy?
Scrapy es un framework de Python para rastreo y scraping web, que permite a los usuarios extraer datos estructurados de sitios web. Es de código abierto, rápido y extensible. Scrapy puede usarse para diversos fines, como minería de datos, monitoreo y pruebas automatizadas.
Integración de Scrapy con proxies de Bright Data
Abre tu IDE preferido e inicia un nuevo proyecto de scrapy, escribe en la línea de comandos:
scrapy startproject <project_name>
Esto creará una nueva carpeta con el nombre del proyecto, dentro de la carpeta abre un archivo python.
- Ve a tu Panel de Control de Bright Data y haz clic en el ícono ‘Proxies & Scraping Infra’
- Crea una nueva zona de proxy haciendo clic en ‘Add’, eligiendo un tipo de red, configurando el proxy y haciendo clic en guardar
- En la pestaña ‘Access parameters’ de tu zona de proxy, encontrarás tus valores de ‘USERNAME’ y ‘PASSWORD’.
- En tu archivo de código de spider de scrapy, dentro del parámetro meta de la solicitud, establece el valor de ‘proxy’ como el siguiente, usando los valores de ‘USERNAME’ y ‘PASSWORD’ de antes: “http://USERNAME:[email protected]:33335“
- Por ejemplo:
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://USERNAME:[email protected]:33335"
yield request
def parse(self, response):
print(response.body)
Luego ejecuta el siguiente comando en tu línea de comandos:
scrapy runspider <Pythonfilename.py>
Cómo Usar el Gestor de Proxy de Bright Data Con Scrapy
- Crea una zona de proxy igual que en la integración directa anterior
- Instala el Gestor de Proxy
- Haz clic en ‘add new port’ y configúralo para tu caso de uso
- En tu archivo de código de spider de Scrapy, dentro del parámetro meta de la solicitud, establece el valor de ‘proxy’ como el siguiente: “http://IP:PORTNUMBER”
- La IP del host local es 127.0.0.1 – este es el valor que debes usar si el gestor de proxy está instalado en tu máquina. Si el gestor de proxy está instalado en un servidor externo, ingresa la dirección IP de ese servidor
- El puerto creado en el Gestor de Proxy es 24XXX, por ejemplo, 24000 – el número de puerto predeterminado
- Por ejemplo:
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://127.0.0.1:24000"
yield request
def parse(self, response):
print(response.body)
⚠️Nota importante: Si estás usando los Proxies Residenciales, Web Unlocker o API SERP de Bright Data, necesitas instalar un certificado SSL para habilitar conexiones seguras de extremo a extremo a tus sitios web objetivo. Este es un proceso sencillo, consulta https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate para instrucciones.
Obtén proxies para Scrapy
Alimentado por una infraestructura de proxy residencial galardonada
Más de 400M+ monthly de IP residenciales, la mejor tecnología de su clase y con capacidad de apuntar a cualquier país, ciudad, operador y ASN, hace de nuestros servicios de proxy premium la mejor opción para los desarrolladores.
Un Proxy para cada camino de desarrollo
Combina redes, peers e IPs para optimizar tu flujo continuo de datos web.
Precios de la Red de Proxies
Usa a AWS? Agora você pode pagar por meio do AWS Marketplace La mejor experiencia del cliente en la industria
Lanzamientos de nuevas funciones todos los días
Para responder a cualquier pregunta justo cuando lo necesite
Tablero de rendimiento de la red en tiempo real
Para optimizar su rendimiento
ara cumplir con sus objetivos de recopilación de datos
El líder en la categoría de proxies y recopilación de datos
Se recopilan 650 TB de datos públicos cada día
Nuevas características se lanzan todos los días
Sirviendo a 7 de las 10 principales universidades del mundo
Calificación más alta de Trustpilot en la industria: 4.6/5