Aprenda a aumentar la velocidad de las solicitudes con simples manipulaciones de Proxy.
Agenda
- Pasos sencillos para resolver problemas comunes de velocidad
- Uso de las IP más rápidas y Proxy para sus dominios de destino
- Reducir el ancho de banda de respuesta
- Optimizar las configuraciones de Proxy
Si no desea ver el seminario web, léalo
El tiempo dedicado a enviar y recibir solicitudes es importante para el éxito de tus operaciones de recopilación de datos, por lo que comenzaremos mostrándote cómo acelerar el tiempo de solicitud.
Empezaré utilizando el Administrador de proxies, que me permite modificar la solicitud antes de que llegue al superproxy.
El Administrador de proxies actúa como intermediario entre el rastreador y los Super Proxies, ayudando a controlar y dar forma al tráfico hacia los Super Proxies y hacia el nodo de salida del Proxy (es decir, el llamado peer).
También controla lo que debe ocurrir después de obtener la respuesta.
El Administrador de proxies es un software de código abierto que se instala localmente en su ordenador.
Puede descargarlo en nuestro sitio web: brightdata.com/products/Proxy-Manager, github.com/luminati-io/luminati-Proxy, npmjs.com/package/@luminati-io/luminati-Proxy y hub.docker.com/r/luminati/luminati-Proxy/.
Comenzaremos por examinar los registros de solicitudes que están disponibles en el panel de control de Proxy Manager y en la pestaña HAR Viewer de cada uno de los puertos Proxy.
Haga clic en la solicitud para ver los detalles de la solicitud y la respuesta, junto con su tiempo.
El tiempo muestra el tiempo que tardó la solicitud en ser enviada y recibida por el sitio de destino, junto con el tiempo que tardó la respuesta en llegar.
Cuando el tiempo de solicitud para enviar la solicitud excede el tiempo deseado, podemos cambiarlo yendo a la pestaña «Velocidad de solicitud» del puerto Proxy.
Puedo elegir el superproxy más cercano a mi ubicación para tener un viaje de ida y vuelta más corto.
Esto se puede hacer mediante el Administrador de proxies, yendo al Administrador de proxies y, en el puerto Proxy, en la pestaña Velocidad de solicitud, seleccionando el país deseado en la lista desplegable Ubicación del superproxy.
Tenga en cuenta que la geolocalización de la IP del nodo de salida no se ve afectada por la ubicación del superproxy en sí.
La obtención del superproxy por geolocalización, para una latencia más corta, también se puede realizar con el comando servercountry-CÓDIGO_DE_PAÍS.zproxy.lum-superproxy.io Actualmente, los códigos de país compatibles para obtener un superproxy son AU, CN, GB, IN, NL y US.
Por ejemplo, para obtener un superproxy de Australia solo hay que ejecutar este comando: servercountry-au.zproxy.lum-superproxy.io
Otra opción para mejorar la velocidad es enviar cada solicitud varias veces en paralelo a través de diferentes superproxies, lo que permitirá utilizar el más rápido.
Esto se puede hacer configurando las solicitudes paralelas en 3 y el número mínimo de superproxies en 5.
Configurar «resolver DNS en el superproxy» también será más rápido que resolverlo en el lado del par.
Una vez configurado, realice una breve prueba enviando una solicitud al sitio web de destino para verificar que se ha realizado correctamente.
Otra forma de mejorar la velocidad de las solicitudes es configurando un umbral de velocidad y guardando un grupo de direcciones IP que cumplan este umbral.
Esto se puede hacer en el Administrador de proxies, en la pestaña Reglas.
Crearé una regla que se active cuando una solicitud cumpla mis umbrales de tiempo o caiga por debajo del umbral seleccionando «Tiempo de solicitud inferior a» y «500 milisegundos».
A continuación, selecciona la acción «Guardar IP en grupo rápido», lo que creará un grupo de IP que son las más rápidas para mi sitio web de destino específico, y estableceré el tamaño del grupo en 20 IP.
Recuerde habilitar el analizador HTTPS para que las reglas del Administrador de Proxy funcionen con los protocolos https.
Consulte las instrucciones en brightdata.com/faq#proxy-certificate.
Dependiendo de su sistema operativo y navegador, encontrará aquí instrucciones más específicas para cada uno.
Se puede optimizar un tiempo de respuesta lento eliminando los archivos innecesarios de la respuesta.
Esto se puede hacer en la pestaña de reglas, seleccionando el tipo de archivo que se va a eliminar en el campo regex y habilitando un activador para URL específicas.
En la parte derecha encontrará la regla como una función JavaScript y podrá copiarla en su código.
Tenga en cuenta que siempre debe probar su regla haciendo clic en Probar debajo de la sección de reglas.
La red del centro de datos y la residencial estática tienen un límite de 500 solicitudes por segundo, por IP.
Cuando alcance este umbral, recibirá este error: CÓDIGO 429: TUN_ERR: Demasiadas solicitudes por IP.
Para solucionar esto, reduzca la tasa de solicitudes o compre IP para distribuir la carga entre más IP del centro de datos.
Las IP del centro de datos son IP de máquinas, y las IP residenciales estáticas son IP de ISP que son extra rápidas y se pueden utilizar durante el tiempo que sea necesario.
No hay límite en el número de solicitudes que utilizan la red residencial, que consta de decenas de millones de IPs de usuarios reales.
Bright Data tiene muchos clientes que envían más de 20 millones de solicitudes al día.
Ahora, para los clientes que ejecutan decenas de millones de solicitudes al día, la configuración ideal es conectar su rastreador o bot al Proxy Manager o, a través de la API, al Proxy Manager que le conecta al Super Proxy.
El Proxy Manager se instala en sus instalaciones y, en caso de cargas elevadas, es necesario dividir el tráfico de carga en varios Proxy Managers.
De lo contrario, podría obtener un código de error 502 debido a la elevada carga de tráfico en una sola máquina Proxy Manager.
Para configurar varios Proxy Managers, instale el Proxy Manager en un PC, configure los puertos proxy necesarios, los puertos proxy de destino, las reglas de red y la configuración de los puertos.
El puerto Proxy se puede configurar en la pestaña General y seleccione Sí para habilitar los registros SSL.
Ahora, incluya en la lista blanca las IP que desea conectar a este puerto Proxy, es decir, la IP de su rastreador o bot.
Esto garantizará que solo las fuentes permitidas utilicen cada uno de los puertos Proxy del gestor de Proxy.
Simplemente obtenga las IP de su máquina rastreadora, escríbalas en el campo de acceso IP en lista blanca y haga clic en V.
Ahora vaya a la pestaña Configuración manual y copie el archivo JSON.
Para instalar el Administrador de Proxy en otras máquinas, vaya a la pestaña Configuraciones manuales, haga clic en Editar, pegue el archivo JSON y guarde.
Esto copiará todos los puertos Proxy que haya definido con sus configuraciones, incluidas las IP en lista blanca.
Ahora que tenemos varios equipos con el Administrador de proxy, la división del tráfico entre las instancias se realiza dirigiendo las solicitudes a la IP del equipo y al puerto del Administrador de proxy correspondientes.
Las solicitudes tendrán el siguiente aspecto:
solicitud 1 -> [IP del primer servidor]:24000
solicitud 2 -> [IP del segundo servidor]:24000
Nota: recuerde instalar el certificado del Administrador de Proxy como se ha descrito anteriormente.
Para concluir nuestro seminario web, los pasos para aumentar la velocidad de las solicitudes son los siguientes:
- Dirigir el tráfico al Proxy más rápido en función de su ubicación
- Enviar solicitudes paralelas a varios Proxy para utilizar el más rápido.
- Resuelva el DNS en el lado del Proxy.
- Elimine los archivos innecesarios de la respuesta
- Guarde la IP más rápida en un grupo de IP rápidas para su uso futuro
- Divida la carga de tráfico entre varias instancias y máquinas de Proxy Manager
Esperamos que este seminario web le haya resultado útil. Le invitamos a visitar nuestra sección de preguntas frecuentes o a ver nuestros seminarios web anteriores, que puede encontrar en brightdata.com/webinar