Índice del rastreador
Una gran muestra de rastreadores que son bloqueados por los sitios web.
71,6 %
de los sitios web tienen al menos un comando de prohibición parcial.
71,6 %
de los sitios web tienen al menos un comando de prohibición parcial.
| Porcentaje de sitios web que bloquean explícitamente el agente de usuario | % de sitios web que bloquean explícitamente y con el comando *. | Empresa | Propósito | Agente de usuario |
|---|---|---|---|---|
| 2,5 % | 62,5 % | Open AI | GPT | GPTBot |
| 2,1 % | 62,5 % | Common Crawl Foundation | Archivo web público | CCBot |
| 1,6 % | 62,5 % | Bard/Gemini/PaLM/Bison | Google-Extended | |
| 0,6 % | 62,2 % | OpenAI | Chat GPT | chatgpt-user |
| 1,8 % | 63,7 % | Amazon | Alexa | amazonbot |
| 0,5 % | 61,9 % | Meta AI | LIaMA | FacebookBot |
| 0,5 % | 64,9 % | Brandwatch | Magpie Crawler | magpie-crawler |
| 1,8 % | 64,9 % | ByteDance | ByteDance LLM N/A | Bytespider |
| 0,5 % | 61,8 % | Anthropic | Claude | Anthropic-AI |
| 1,6 % | 63,5 % | Anthropic | Claude | claudebot |
| 0,3 % | 62,5 % | Anthropic | Claude | claude-web |
| 0,4 % | 62,5 % | Perplexity | Chatbot | perplexitybot |
| 0,3 % | 62,0 % | Cohere | Comando Cohere | Cohere-AI |
| 1,3 % | 62,8 % | Apple | Modelos fundamentales de Apple | Applebot-Extended |
| 0,3 % | 64,7 % | Apple | Siri | Applebot |
| 0,3 % | 64,7 % | Diffbot | datos de entrenamiento | diffbot |
| 1,4 % | 63,6 % | Meta | Todo Meta IA | meta-externalagent |
| 0,2 % | 64,6 % | OpenAI | SearchGPT | oai-searchbot |
| 0,2 % | 64,7 % | Timpi | Wilson IA | timpibot |
| 0,1 % | 64,7 % | webz.io | webzio-extended | webzio-extended |
| 0,1 % | 64,1 % | Bard/Gemini/PaLM/Bison | googleother | |
| 0,01 % | 65,0 % | Perplexity | perplexity-IA | perplexity-ai |
| 0,1 % | 64,7 % | Meta | Todo Meta IA | meta-externalfetcher |
| Porcentaje de sitios web que bloquean explícitamente el agente de usuario | % de sitios web que bloquean explícitamente y con el comando *. | Empresa | Propósito | Agente de usuario |
|---|---|---|---|---|
| 20,5 % | 83,5 % | Open AI | Chat GPT | gptbot |
| 17,1 % | 84,1 % | Common Crawl Foundation | Archivo web público | ccbot |
| 13,5 % | 84,8 % | Bard/Gemini/PaLM/Bison | google-extended | |
| 11,7 % | 83,4 % | Open AI | Chat GPT | chatgpt-user |
| 12,2 % | 83,6 % | Anthropic | Claude | anthropic-ai |
| 14,1 % | 83,4 % | Anthropic | Claude | claudebot |
| 10,2 % | 83,8 % | Anthropic | Claude | claude-web |
| 8,9 % | 83,6 % | Meta | LIaMA | facebookbot |
| 12,4 % | 84,2 % | ByteDance | ByteDance LLM N/A | bytespider |
| 11,8 % | 83,4 % | Perplexity | Chatbot | perplexitybot |
| 10,3 % | 84,2 % | Cohere | Comando Cohere | cohere-ai |
| 8,9 % | 84,4 % | Apple.com | Modelos fundamentales de Apple | applebot-extended |
| 4,9 % | 86,1 % | Brand Watch | Magpie Crawler | magpie-crawler |
| 7,3 % | 83,7 % | Amazon | Alexa | amazonbot |
| 3,3 % | 85,1 % | Apple | Siri | applebot |
| 1,8 % | 85,5 % | Bard/Gemini/PaLM/Bison | googleother | |
| 2,9 % | 85,6 % | Webz | webzio-extended | webzio-extended |
| 4,2 % | 85,5 % | Timpi | Wilson IA | timpibot |
| 1,4 % | 86,4 % | Perplexity | perplexity-IA | perplexity-ai |
| 4,8 % | 85,9 % | Meta | Todo Meta IA | meta-externalfetcher |
| 7,0 % | 83,6 % | Open AI | Buscar GPT | OAI-searchbot |
| 4,8 % | 85,9 % | Meta | Todo Meta IA | meta-externalagent |
Bright Data recopila los datos web públicos más buscados del mundo en miles de millones de sitios web importantes. A través de nuestro producto de cumplimiento, Bright Shield, recopilamos comandos de permiso y denegación para agentes de usuario en robot.txt de los sitios web que rastreamos. Nuestra muestra actual de sitios web es de 9 832 187 y hemos recopilado alrededor de 33 000 agentes de usuario únicos.
Nuestro equipo de investigación ha identificado el porcentaje de tiempo que cada agente de usuario de interés está bloqueado explícitamente dentro de nuestra muestra y cada agente de usuario que está bloqueado con el comando (*). También hacemos un seguimiento del porcentaje total de sitios web que no permiten ningún rastreador. Identificamos cada agente de usuario lo mejor posible por empresa, uso y un enlace que incluye información adicional, como por ejemplo, cómo bloquearlo.
¿Comentarios sobre los agentes de usuario? Envíe sus comentariospor correo electrónico a [email protected]
Última actualización: 2 de diciembre de 2025