En esta publicación abordaremos:
- Mito #1: El raspado de datos no es una práctica legal.
- Mito #2: El raspado de datos solo es para desarrolladores.
- Mito #3: El raspado de datos es hackeo
- Mito #4: El raspado de datos es fácil.
- Mito #5: Solo requiere un raspador para todos los sitios objetivo.
- Mito #6: Una vez recopilados, los datos están “listos para usarse”.
- Mito #7: El raspado de datos es un proceso por completo automatizado
- Mito #8: Es fácil escalar operaciones de raspado de datos.
- Mito #9: El raspado de datos produce grandes cantidades de datos usables
Mito #1: El raspado de datos no es una práctica legal.
Muchas personas tienen el concepto erróneo de que el raspado de datos es ilegal. La verdad es que son perfectamente legales, siempre y cuando no se recopile información protegida por contraseña o Datos Personales Identificatorios (PII). También vale la pena prestar atención a los Términos de Servicio (ToS) de sitios web objetivo y asegurarse de que se obedece las reglas, normas y estipulaciones al recopilar información de un sitio web específico. Las compañías que fijan como objetivo datos web de fuente abierta, que son anónimas y solo trabajan con redes de recopilación de datos que cumplen con la CCPA y GDPR, no pueden caer en el error.
En los EE.UU., a nivel Federal, no hay leyes que prohíban el raspado de datos siempre y cuando la información recopilada sea publica y no genere ningún daño al sitio web objetivo en el proceso de raspado de datos. En la Unión Europea y Reino Unido, el raspado de datos se ve desde un punto de vista de propiedad intelectual, bajo la Ley de Servicios Digitales. En ella se establece que “La reproducción de contenido disponible al público” no es ilegal; esto quiere decir que mientras los datos recopilados estén disponibles al público, se actúa con legalidad.
Mito #2: El raspado de datos solo es para desarrolladores.
Este es uno de los mitos más comunes. Muchos profesionales sin antecedentes técnicos, típicamente, renuncian a seguir intentando mantener control sobre su consumo de datos sin siquiera averiguar más al respecto. Es verdad que muchas técnicas de raspado de datos requieren habilidades técnicas que principalmente pertenecen a desarrolladores. Sin embargo, también es verdad que, en la actualidad, hay nuevas herramientas libres de código. Estas soluciones ayudan a automatizar el proceso de raspado de datos creando raspadores de datos preconstruidos, disponibles para la persona promedio. También incluyen plantillas para raspado de datos en sitios populares como Amazon, Booking y Facebook
Mito #3: El raspado de datos es hackeo
Esto no es verdad. El hacking consiste en actividades ilegales que resultan, típicamente, en la explotación de redes privadas o sistemas computacionales. El punto de tomar control de estas actividades consiste en realizar actividades ilícitas como robar información privada o manipular sistemas para obtener beneficios personales.
Por otra parte, el raspado de datos es la práctica de tener acceso a información disponible al público en sitios web objetivo. Típicamente, los negocios usan esta información para ser más competitivos en su espacio. Esto da como resultado mejores servicios y precios de mercado más justos para los consumidores
Mito #4: El raspado de datos es fácil.
Muchas personas tienen la creencia errónea de que “el raspado de datos es pan comido”. Preguntan “¿Cuál es el problema? Solo necesitas ir al sitio web objetivo y recolectar la información objetivo”. Conceptualmente, esto parece correcto, pero en la práctica, el raspado de datos es una tarea muy técnica, manual y con gran demanda de recursos. Ya sea que decida usar Java, Selenium, PHP o PhantomJs, necesita tener un equipo técnico trabajando para usted, que sepa cómo escribir scripts en estos lenguajes.
Muchas veces, los sitios objetivo tienen arquitecturas complejas y mecanismos de bloqueo que cambian constantemente. Una vez que se superan esos obstáculos, los conjuntos de datos típicamente necesitan limpiarse, sintetizarse y estructurarse para que los algoritmos puedan analizarlos y así obtener conocimientos valiosos. La conclusión final es que el raspado de datos no es sencilla.
Mito #5: Solo requiere un raspador para todos los sitios objetivo.
Esto no es verdad, Lo primero que hay que tener en mente es que las arquitecturas de sitio web varían en gran medida. Por ejemplo, si una compañía usa un raspador para recopilar el sentir de la audiencia objetivo en Facebook, necesitarán un raspador diferente para Instagram, por ejemplo. Incluso si utiliza “Raspador A”, que se configura en específico para “Sitio web objetivo A”, es necesario recordar que se cambia −constantemente− la estructura de sitio y se crea −consistentemente− nuevos mecanismos de bloqueo. Así que es mejor trabajar con raspadores que usen capacidades de Aprendizaje automático (ML) para evolucionar conforme suceden los cambios, en tiempo real.
Mito #6: Una vez recopilados, los datos están “listos para usarse”
Por lo general, este no es el caso. Hay muchos aspectos a considerar al recopilar información objetivo. Por ejemplo, el formato en que se puede capturar la información contra el formato en que sus sistemas pueden ingerir datos. Digamos, por ejemplo, que todos los datos que recopila están en formato JSON, no obstante, sus sistemas solo pueden procesar archivos en CSV. Más allá del formato, hay otros asuntos relacionados con estructuración y limpieza de datos previo a su uso. Esto podría incluir la eliminación de archivos corruptos o duplicados, por ejemplo. Solo después de que se han form, están listos para ser analizados y usados.ateado, limpiado y estructurado los datos
Mito #7: El raspado de datos es un proceso por completo automatizado
Muchas personas creen que hay bots que realizan crawling de sitios web y recopilan información con tan solo presionar un botón. Esto no es verdad, la mayor parte del raspado de datos es manual y requiere un equipo técnico para supervisar el proceso y resolver problemas. Sin embargo, hay maneras en que este proceso puede automatizarse, usando la herramienta de Web Scraper IDE o simplemente comprando Conjuntos de datos pre-recopilados que no requieren relacionarse con complejidades del proceso de raspado de datos.
Mito #8: Es fácil escalar operaciones de raspado de datos.
Esto es un mito total. Si tiene software y hardware de recopilación de datos al interior de su negocio, además de un equipo técnico para gestionar operaciones, al explorar la posibilidad de escalar operaciones de manera considerable, será necesario agregar nuevos servidores, contratar nuevos miembros del equipo y construir nuevos raspadores para los sitios objetivo. Considere que el mantenimiento de un servidor podría costar a un negocio, en promedio, $1,500 mensuales. Entre más grande sea la compañía, más elevado será el múltiplo del costo.
Por otra parte, cuando se depende de los Datos, mientras se es proveedor de servicios, la escalación de operaciones puede ser en extremo fácil ya que depende de infraestructura de terceros, equipos y mapas en vivo de miles de dominios web en constante cambio.
Mito #9: El raspado de datos produce grandes cantidades de datos usables.
Usualmente, este no es el caso. Los negocios que realizan una recopilación manual de datos pueden recibir −con frecuencia− datos imprecisos o información ilegible. Por esa razón es importante usar herramientas y sistemas que desempeñan validación de calidad y enrutamiento de tráfico a través de dispositivos de pares verdaderos. Esto hace posible para los sitios objetivo identificar solicitantes como usuarios verdaderos y los “exhorta” a recopilar conjuntos de datos precisos para el GEO en cuestión. El uso de una red de recopilación de datos que usa validación de calidad, le permitirá recopilar una pequeña muestra de datos, validarla y, solo entonces, ejecutará la tarea de recopilación por completo. Ahorrando tiempo y recursos.
Conclusión
Como se puede ver, hay muchas ideas erróneas en torno al raspado de datos. Ahora que conoce todos los hechos, puede abordar sus tareas de recopilación de datos futuras.
