--- title: "Encontrando los momentos de entrenamiento robótico ocultos en videos públicos de la web" slug: robot-training-data-in-public-web-video date: 2026-08-25T08:46:32+00:00 modified: 2026-08-25T08:46:38+00:00 permalink: https://brightdata.es/blog/ai/robot-training-data-in-public-web-video type: blog --- [ Blog ](https://brightdata.es/blog "Blog") / [AI](https://brightdata.es/blog/ai) [AI](https://brightdata.es/blog/ai) # Encontrando los momentos de entrenamiento robótico ocultos en videos públicos de la web Investigación: la API de búsqueda de video de Bright Data descubrió 10× más momentos de acción física buscando lo que muestran los videos en lugar de depender de títulos, descripciones y etiquetas. 23 min de lectura [ ![](https://media.brightdata.es/2025/12/1763645725709-50x50.png) ](https://brightdata.com/blog/authors/raz-kaplan) [Raz Kaplan AI GTM Lead ](https://brightdata.com/blog/authors/raz-kaplan) ![Finding the web’s hidden robot training moments in public web video data](https://media.brightdata.es/2026/08/Finding-the-webs-hidden-robot-training-moments-in-public-web-video-data.png) Los datos de video pueden ayudar a entrenar robots, incluidos los humanoides, a comprender y realizar tareas físicas. Esto abarca los modelos VLA, que conectan observaciones visuales e instrucciones en lenguaje con acciones, y los modelos de mundo, que aprenden cómo cambia un entorno con el tiempo. La web pública alberga millones de videos de personas realizando ese trabajo, y encontrar una acción específica dentro de ellos es difícil, porque un título describe el tema general de un video mientras deja las acciones del metraje sin nombre. Las descripciones y etiquetas generalmente no son mejores. Para este estudio utilizamos la [API de búsqueda de video](https://brightdata.com/ai/video-data/vla) de Bright Data. La API de búsqueda de video es una herramienta que permite buscar visualmente momentos dentro de videos de la web. Se le proporciona una descripción en lenguaje natural de una acción, busca en el contenido visual de los videos públicos en lugar del texto adjunto a ellos, y devuelve videos candidatos junto con marcas de tiempo de dónde puede aparecer la acción. La búsqueda convencional por palabras clave funciona al revés, comparando tus palabras con el título, la descripción y las etiquetas de un video, por lo que ambos enfoques terminan alcanzando metrajes muy diferentes. Le enviamos **141 acciones físicas** y obtuvimos **10.828 momentos** en **7.549 videos**. Para cada momento retenido, verificamos si alguna palabra del nombre de la acción aparecía en el título, la descripción o las etiquetas del video. En el **90,8%** de los casos, ninguna lo hacía. Si recopilas metraje de entrenamiento por palabras clave, ese 90,8% es el dato que pierdes, y hace que la cosecha de la API sea 10× mayor que lo que la búsqueda de texto podría alcanzar. Esos momentos adicionales muestran las mismas acciones que solicitaste, dentro de videos cuyos títulos hablan de otra cosa, y permanecen invisibles para un pipeline de texto sin importar cuántas consultas ejecutes en estos campos. Comparamos subcadenas literales con el título, la descripción y las etiquetas, y contamos dentro del corpus que la propia API devolvió, por lo que la proporción se mantiene bajo esas dos condiciones. La búsqueda semántica, la búsqueda multilingüe, la búsqueda en transcripciones y el propio ranking de YouTube están fuera de lo que probamos. --- ### El resultado en tres cifras **10,9×**más momentos que la coincidencia literalla búsqueda de contenido devolvió 10.828; 992 llevan alguna palabra del nombre de la acción en sus metadatos**90,8%**no nombrado en ningún lugar9.836 de 10.828 momentos no llevan ninguna mención de la acción en su título, descripción o etiquetas**56,1%**sin pista alguna en el títulouna prueba menos estricta que la búsqueda. Preguntamos a google/gemini-2.5-flash si algo en el título se relaciona con la acción de alguna manera, por muy tenue que sea, incluyendo pistas demasiado vagas para buscar. No encontró nada en 6.071 de 10.828De dónde provienen estas tres cifrasLas dos primeras son la misma división: 9.836 de 10.828 momentos no llevan ninguna palabra de la acción en ningún campo, y los 992 que sí lo hacen son lo que alcanza un comparador literal, 10.828 ÷ 992 = 10,9. Los cuatro grupos (título, descripción, etiquetas, ninguno) son mutuamente excluyentes y suman el total verificado. Ambos se cuentan por fila de coincidencia; si se colapsan a los 8.849 video-segundos distintos, la proporción resulta en 8,9×. El tercero cuenta los títulos que el modelo calificó como no relacionados: 6.071 de 10.828, una fila por momento en 7.549 videos distintos. Las marcas de tiempo tienen una segunda consecuencia. Si se permite que cada momento tenga como máximo 10 segundos de acción, las **5.066,5 h** de video fuente en las que se encuentran estas coincidencias se convierten en **24,58 h** de clip, lo que reduce lo que debe moverse, almacenarse y revisarse en 206,1×. **Lo que la recuperación realmente devolvió.** Que la recuperación sea confiable no es lo mismo que ser correcta, así que extrajimos un fotograma real de casi cada coincidencia y tuvimos un modelo de visión para calificarlos a todos. La sección 3.5 tiene las tasas. Esta auditoría presenta metraje candidato para descubrimiento y curación, y ninguna política, modelo de mundo o robot fue entrenado con él. ### Muestra de seis videos y sus títulos en YouTube Lo que vio un modelo de visión al mostrarle la imagen sin el título, frente al título propio del video, traducido al español cuando se indica un idioma fuente. Un juez de IA leyó cada título del corpus en busca de cualquier indicio de su acción, y calificó estos seis como no relacionados: una fecha simple, un versículo del Corán, un boletín de noticias económicas. Confirmamos cada fotograma visualmente y cada video está activo. Haz clic en un fotograma para reproducir el video en ese segundo. El momentoLo que muestra el fotogramaCómo se llama el video[![Persona palando cemento en cubeta de mezcla](https://media.brightdata.com/2026/08/Q6T5qNlN8k0_43.jpg)](https://www.youtube.com/watch?v=Q6T5qNlN8k0&t=41s) `mix_cement`Persona palando cemento en cubeta de mezclaSurah Tawbah versículo 26. “Pero (aun así) ¿a dónde vas?” *(del tr)*[![Mano insertando boquilla de combustible en el depósito del coche](https://media.brightdata.com/2026/08/Uk0HDyKdMM8_151.jpg)](https://www.youtube.com/watch?v=Uk0HDyKdMM8&t=149s) `refuel`Mano insertando boquilla de combustible en el depósito del cocheDesafíos de reforma económica de Bangladesh y mensaje del FMI | Economía de Bangladesh | FMI *(del bn)*[![Dos manos doblando papel verde por la mitad](https://media.brightdata.com/2026/08/MVabAXq-o40_376.jpg)](https://www.youtube.com/watch?v=MVabAXq-o40&t=374s) `fold`Dos manos doblando papel verde por la mitad24 de diciembre de 2023 *(del zh)*[![Mano cortando aguacate en tabla de cortar](https://media.brightdata.com/2026/08/O_4ODEXyEs0_306.jpg)](https://www.youtube.com/watch?v=O_4ODEXyEs0&t=304s) `cut_knife`Mano cortando aguacate en tabla de cortarComida cultivada en tierra lunar… ¿Los científicos se asustaron? *(del hi)*[![Mano golpeando botón rojo de parada de emergencia tipo seta](https://media.brightdata.com/2026/08/1Na9zoYj2C4_16.jpg)](https://www.youtube.com/watch?v=1Na9zoYj2C4&t=14s) `emergency_stop`Mano golpeando botón rojo de parada de emergencia tipo seta(Cheongju City/Línea Principal) Woojin Sanjeon Apollo 1100 Modelo eléctrico ultra-bajo-suelo PEV estándar edición junio 2024 2027 Dongil Transportation 712 *(del ko)*[![Mano guiando cincel en talla de madera](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s) `chisel_carve`Mano guiando cincel en talla de maderaadapt and overcome 🌱--- ### El 90,8% de los momentos recuperados no están nombrados en ningún lugar de sus metadatos Esa proporción es la brecha entre lo que la recuperación de contenido alcanzó en este corpus y lo que habría alcanzado la coincidencia literal de metadatos. La objeción obvia es el idioma, ya que probamos palabras de acción en inglés contra títulos que a menudo no están en inglés. Restringir a títulos en inglés confirmados por el modelo aún deja la cifra en el 85,8%; la sección 3.3 muestra cada segmento. #### Dónde se nombra la acción, en los 10.828 momentos recuperados ![Gráfico de waffle: 100 cuadrados, uno por punto porcentual de los 10.828 momentos coincidentes; 91 no están nombrados en ningún lugar](https://media.brightdata.com/2026/08/waffle.svg)Formato de tablaGrupoMomentosProporciónQué significa para un pipeline de textonombrado en el título3863,6%el comparador literal lo encuentrasolo en la descripción5314,9%solo si lees las descripcionessolo en etiquetas750,7%solo si lees las etiquetas**no nombrado en ningún lugar****9.836****90,8%**el comparador literal no lo encuentraUn momento real de cada grupo, porque “531 momentos solo se nombran en la descripción” es una afirmación y un título real con la palabra coincidente marcada es evidencia: GrupoAcciónTítulo del video (se abre en el segundo coincidente)Coincidencianombrado en el título`pour`[Teaching a beginner how to pour latte art patterns (Expert Barista Guide)](https://www.youtube.com/watch?v=2P4d7Vq4GSc&t=404s)coincidencia en “pour”solo en la descripción`take`[GENTLE SOY SAUCE SOUP RAMEN (SHOYU RAMEN) | A Real Japanese Dad Cooks | Japanese cooking](https://www.youtube.com/watch?v=c8Kf9xlqVc0&t=216s)coincidencia en “take”solo en etiquetas`fold`[ورقة واحدة .. طيّات قليلة .. بدون لاصق.. وعالمٌ هرميٌ كامل!](https://www.youtube.com/watch?v=hljmkQn7uD8&t=89s)coincidencia en “fold”no nombrado en ningún lugar`take`[\# viral video in social media # viral koriyaan # sad story of koriyan romance](https://www.youtube.com/watch?v=v3JvHty7O_w&t=40s)ninguna palabra de “take” aparece en ningún lugar de sus metadatos#### Proporción invisible, por dominio ![Los momentos de cada dominio divididos en no nombrado en ningún lugar (rosa) vs nombrado en título, descripción o etiquetas (azul)](https://media.brightdata.com/2026/08/domains.svg)Cifras en formato de tablaDominioNo nombrado en ningún lugarMomentos verificadosSobremesa (DROID)98,1%1.836Exterior95,9%217Cuerpo completo95,4%866Hogar92,0%402Construcción91,1%987Industrial89,6%4.612Automotriz83,8%1.908Cada video coincidente en cada dominio llevaba metadatos extraídos, por lo que cada n es el conjunto completo recuperado de ese dominio. Nadie titula un video “poniendo un bloque en un tazón”; los videos de reparación sí anuncian lo que arreglan, razón por la cual el automotriz es el único dominio al que un comparador literal llega parcialmente. --- ### 1 Lo que elimina una marca de tiempo del pipeline Supongamos que quieres diez segundos de alguien soldando una unión. La ruta habitual lleva cinco pasos, y cada uno de ellos se ejecuta sobre un archivo de video completo: encontrar un video por su título, extraer todo, buscar en tu propia copia el momento, recortar ese momento y luego etiquetar lo que muestra. El primer paso pasa por alto el 90,8% de estos momentos directamente. Buscar en el metraje en su lugar devuelve el video *y* el segundo dentro de él, y uno de los cinco pasos deja de existir. No hay nada que buscar dentro del video extraído, ya que ya sabes dónde está el momento. El recorte aún debe realizarse, ya que la [API de Datos de Medios](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json) entrega videos completos, audio, subtítulos y storyboards sin tomar una marca de tiempo, pero recortas contra un desplazamiento conocido en lugar de buscarlo. Cinco pasos se convierten en cuatro. Los pipelines de recopilación offline comúnmente dividen ese trabajo en varios sistemas: mover video al almacenamiento en la nube, anotarlo fotograma a fotograma ya sea manualmente o semi-automáticamente, y convertir entre formatos de robótica como ROS o MCAP y formatos de video de uso general. Cada transferencia es un lugar donde se pierde rendimiento y donde la alineación temporal entre las transmisiones de cámara y los comandos del motor puede desviarse. No medimos nada de eso aquí. Es el contexto que hace que una marca de tiempo devuelta valga la pena. **Ruta convencional** (cinco pasos, pagados sobre videos completos): 1. **Encontrar videos** · búsqueda por palabras clave en títulos 2. **Extraer** · 5.066,5 h de video fuente *(el paso costoso, medido a partir de la duración extraída de cada video coincidente)* 3. **Ejecutar una búsqueda** · una segunda herramienta, sobre tu propia copia 4. **Recortar** · recortar cada clip al momento 5. **Etiquetar** · anotar lo que recortaste **Con recuperación de momentos** (cuatro pasos, pagados por segundos): 1. **Encontrar escenas** · la búsqueda de contenido devuelve el segundo 2. **Recuperar** · ~24,58 h alrededor de los desplazamientos devueltos *(est.: asume que cada momento es como máximo 10 segundos de acción)* 3. **Recortar** · recortar localmente, contra un desplazamiento conocido 4. **Etiquetar** · un fotograma por momento ![Metraje movido, a escala: dos barras en un eje](https://media.brightdata.com/2026/08/volume.svg)--- ### 2 Método Escribimos una oración describiendo cada una de las 141 acciones y las enviamos a la [API de búsqueda de video](/ai/video-data/vla). La de soldadura decía: > **una de las 141 oraciones que enviamos** > > primer plano de una mano sosteniendo un soldador en una unión de placa de circuito mientras alimenta hilo de soldadura con la otra mano, iluminación de lámpara de banco Luego extrajimos el título, la descripción y las etiquetas de cada video que regresó. Bright Data documenta el índice como coincidente en fotogramas muestreados en lugar de en título, descripción o etiquetas, por lo que los campos que calificamos no deberían ser los que encontraron el metraje. No lo probamos de forma independiente. Tomamos 22 nombres de acciones de las cadenas de tareas de [DROID](https://huggingface.co/datasets/lerobot/droid_1.0.1), que leímos por frecuencia de verbos, y añadimos las 119 restantes como acciones de autoría propia para ampliar la auditoría más allá de la cobertura de DROID. --- ### 3 Resultados #### 3.1 Cuánto cuesta cada ruta Todo aquí está en horas sobre este corpus, con duraciones sumadas del scraper, por lo que la cifra fuente es un recuento en lugar de una estimación. No extrajimos ningún video, por lo que no reclamamos ningún recuento de bytes. Dos recuentos están detrás del **206,1×**. Las 5.066,5 h son una suma real sobre 7.549 videos. La cifra de clips cuenta cada (video, segundo) una vez, sobre 8.849 segundos distintos, y multiplica por la ventana de 10 segundos. La proporción descansa en dos elecciones, cuán largo es un clip y si la cola larga cuenta, y la cola larga es la palanca más grande de las dos: 483 videos de tres horas o más son ~6% del conjunto y llevan ~60% de las horas. La tabla de sensibilidad completa: ![Factor de reducción bajo cada límite de duración de video](https://media.brightdata.com/2026/08/sensitivity.svg)Cifras en formato de tablaEliminar videos más largos deVideosHoras del corpusSegundos distintosHoras de clip (10 s)Reducción1 h6.5541.113,57.60521,1252,7×2 h6.8731.563,88.01722,2770,2×3 h7.0662.031,38.24722,9188,7×6 h7.3643.272,88.60923,91136,9×12 h7.5465.012,38.84624,57204,0×conservar todos (publicados)7.5495.066,58.84924,58206,1×El mismo corpus, obtenido de cualquier manera: 10.828 filas de coincidencias que caen en 8.849 video-segundos distintos. Contar cada coincidencia en lugar de cada segundo distinto daría 30,08 horas de clip y una reducción de 168,4×. La misma proporción se aplica al tiempo de revisión solo si la alternativa revisa cada video fuente completo, el tiempo de revisión escala linealmente con la duración, y recorrer 8.849 clips separados no conlleva ningún costo por clip. #### 3.2 La regla de coincidencia y qué hace al endurecerla Para cada momento candidato retenido, verificamos el título, la descripción y las etiquetas del video, los principales campos de metadatos disponibles en esta auditoría. Un momento se cuenta como nombrado si alguna palabra del nombre de la acción de más de dos caracteres aparece como una subcadena insensible a mayúsculas y minúsculas, por lo que “change” solo marca `change_tire_wrench` y “car” se encuentra dentro de “carpet”. Esa es la regla más permisiva que podríamos haber elegido, lo que convierte el titular en un mínimo. Endurecerla y sube: ![Momentos que alcanza un comparador de texto bajo cuatro reglas cada vez más estrictas: 992, 868, 597, 206 de 10.828](https://media.brightdata.com/2026/08/matcher.svg)Cada regla más estricta que la publicada mueve la cifra hacia arriba, lo que hace que el 90,8% sea un mínimo en lugar de un mejor caso: 395 de los 992 momentos que la regla publicada cuenta como nombrados lo deben a un fragmento dentro de una palabra más larga. Cada valor está medido, cuatro pasadas reales sobre el corpus (`supply_gap.py _variants()`). #### 3.3 Gran parte está titulado en otro idioma Leímos el idioma del título para cada uno de los 10.828 momentos coincidentes, por lo que este es el corpus completo en lugar de una muestra. De ellos, **4.863 (~45%)** están en un video titulado en uno de **77 idiomas no ingleses nombrados**, más un título que el modelo no pudo identificar. Las mismas descripciones de acciones en inglés devolvieron 423 momentos de videos con título en hindi y 509 de videos con título en portugués. No se recopiló ningún campo geográfico, por lo que esto no dice nada sobre dónde se hicieron los videos. ![Idioma del título de cada momento coincidente, franja proporcional](https://media.brightdata.com/2026/08/langs.svg)*Idioma del título de cada momento coincidente, en los 79 idiomas encontrados.* Esa mezcla es por qué segmentamos el corpus hacia el inglés antes de confiar en el número principal. Restringir a títulos que sabemos que están en inglés mueve la cifra unos pocos puntos y deja la mayor parte en pie, por lo que parte de la brecha es una discrepancia de idioma y el resto es un fallo de descripción que sobrevive después de eliminar la discrepancia: ![Proporción no nombrada en ningún lugar cuando el corpus se segmenta hacia el inglés: 90,8% todo, 87,6% ASCII, 85,8% títulos en inglés, 95,0% audio en inglés](https://media.brightdata.com/2026/08/slices.svg)Los mismos números como tablaSegmentoNo nombrado en ningún lugarntodos los momentos**90,8%**10.828títulos solo ASCII87,6%5.560títulos en inglés confirmados por el modelo85,8%5.965audio en inglés confirmado95,0%317 (demasiado pocos para apoyarse en ellos)#### 3.4 Por acción Ordenado por la proporción sin ningún término de acción literal en los metadatos disponibles. 17 acciones no tienen ningún momento retenido cuyos metadatos nombren la acción objetivo. En las 141 acciones con al menos 8 momentos verificados, la proporción va del 50,0% al 100,0%, mediana 94,1%. Las 12 menos ocultas: ![Las 12 acciones menos ocultas: cada barra son momentos encontrados, divididos en nombrado en su propio texto (azul) vs no nombrado en ningún lugar (rosa)](https://media.brightdata.com/2026/08/supply.svg)Cifras en formato de tablaAcciónDominioEncontradosLo dice en su textoNo nombrado en ningún lugar`wash_car`Automotriz723650,0%`wash_car_panel`Automotriz783653,8%`car_door_open`Automotriz923858,7%`car_door_close`Automotriz913660,4%`car_door`Automotriz933661,3%`pack_box`Industrial732861,6%`grinder_use`Industrial692366,7%`hand_saw_cut`Industrial772567,5%`jack_up_car`Automotriz782469,2%`tape_box`Industrial752369,3%`sit_stand`Cuerpo completo28871,4%`impact_driver`Industrial701972,9%**Las 141 acciones** · encontrados / lo-dice / no-nombrado-en-ningún-lugar, más la extrapolación para todo el índice por acciónAcciónDominioEncontradosLo diceNo nombrado en ningún lugarMomentos est. en todo el índiceTasa utilizableBase de la tasa`climb_ladder`Cuerpo completo930100,0%188.79026,1%acción`crane_hook`Industrial840100,0%170.4369,5%acción`flip`Sobremesa (DROID)870100,0%176.52326,7%acción`lift`Sobremesa (DROID)890100,0%180.58124,7%acción`load_cart`Industrial820100,0%166.4609,8%acción`pick_up`Sobremesa (DROID)720100,0%146.08847,9%acción`push`Sobremesa (DROID)910100,0%184.63923,3%acción`push_heavy_cart`Cuerpo completo700100,0%142.10024,3%acción`push_trolley`Industrial650100,0%131.95020,0%acción`refuel`Automotriz910100,0%184.63926,4%acción`refuel_nozzle`Automotriz880100,0%178.55227,6%acción`seatbelt_buckle`Automotriz870100,0%176.52329,9%acción`slide`Sobremesa (DROID)820100,0%166.37832,1%acción`sort_parcel`Industrial820100,0%166.46037,8%acción`stack`Sobremesa (DROID)650100,0%136.95821,9%acción`unfold`Sobremesa (DROID)790100,0%160.29157,0%acción`ziptie_bundle`Industrial820100,0%166.46048,8%acción`carry_upstairs`Cuerpo completo87198,9%176.61025,6%acción`hang`Sobremesa (DROID)92198,9%181.59612,1%acción`pull`Sobremesa (DROID)87198,9%176.52318,4%acción`pull_trolley`Cuerpo completo92198,9%186.76022,8%acción`close`Sobremesa (DROID)83198,8%168.40741,5%acción`emergency_stop`Industrial85198,8%172.46522,6%acción`handbrake_pull`Automotriz82198,8%166.37831,7%acción`place`Sobremesa (DROID)84198,8%170.43639,3%acción`remove`Sobremesa (DROID)86198,8%174.49448,8%acción`turn_on`Sobremesa (DROID)85198,8%172.46529,4%acción`count_stock`Industrial76198,7%154.28032,4%acción`reach_overhead`Cuerpo completo79198,7%160.37046,8%acción`wipe`Sobremesa (DROID)77198,7%180.58128,0%acción`crouch_down`Cuerpo completo65198,5%131.95034,9%acción`seat_chip`Industrial65198,5%131.95046,9%acción`plaster_wall`Construcción88297,7%178.55225,3%acción`plug_in`Hogar87297,7%176.52336,5%acción`turn`Sobremesa (DROID)86297,7%174.49427,9%acción`unplug_cable`Industrial88297,7%178.64042,5%acción`label_parcel`Industrial85297,6%172.55045,9%acción`move`Sobremesa (DROID)82297,6%166.37834,2%acción`press`Sobremesa (DROID)83297,6%168.40742,2%acción`spirit_level`Industrial83297,6%168.40712,5%acción`conveyor_pick`Industrial79297,5%160.29135,4%acción`grout_joint`Construcción81297,5%164.34928,4%acción`open_hood`Automotriz80297,5%162.32053,8%acción`trowel_mortar`Construcción79297,5%160.29128,2%acción`balance_load`Cuerpo completo77297,4%156.31021,1%acción`shovel_load`Exterior74297,3%150.22031,5%acción`scan_barcode`Industrial71297,2%144.05927,1%acción`desolder_remove`Industrial63296,8%127.89051,6%acción`pull_wire`Construcción61296,7%123.76930,0%acción`take`Sobremesa (DROID)90396,7%182.61037,8%acción`forklift_controls`Industrial59296,6%119.71127,1%acción`open_gate`Cuerpo completo88396,6%178.64021,6%acción`pour`Sobremesa (DROID)89396,6%183.62456,2%acción`plug_in_socket`Industrial85396,5%172.55036,5%acción`shrink_wrap`Industrial81396,3%164.43022,5%acción`wipe_windshield`Automotriz82396,3%166.37834,6%acción`control_dial`Industrial72395,8%146.08831,9%acción`steering`Automotriz72395,8%146.08859,7%acción`open_carton`Industrial69395,7%140.07031,9%acción`put`Sobremesa (DROID)91495,6%184.63941,8%acción`plant_seed`Exterior67395,5%136.01028,8%acción`steering_turn`Automotriz43295,3%87.24760,5%acción`pipe_fitting`Industrial83495,2%168.40744,6%acción`open`Sobremesa (DROID)79494,9%173.98744,2%acción`dig_soil`Exterior76494,7%154.28044,6%acción`sweep`Hogar75494,7%152.17529,3%acción`route_cable`Industrial74494,6%150.22043,8%acción`gear_shift`Automotriz73494,5%148.11737,0%acción`stack_pallet`Industrial70494,3%142.10012,9%acción`thermal_paste`Industrial69494,2%140.07019,1%acción`ev_charge_plug`Automotriz85594,1%172.46526,2%acción`carry_box`Hogar84594,0%170.43625,0%acción`open_trunk`Automotriz84594,0%170.43628,6%acción`socket_ratchet`Industrial82593,9%166.37831,7%acción`top_up_fluid`Automotriz82593,9%166.37837,0%acción`press_machine_button`Industrial79593,7%160.29131,6%acción`valve_turn`Industrial79593,7%160.29119,0%acción`insert_usb`Industrial78593,6%158.34046,0%acción`caulk_gun`Industrial86693,0%174.49434,1%acción`adjust_mirror`Automotriz85692,9%172.46520,0%acción`sand_surface`Industrial85692,9%172.46555,3%acción`cut_pipe`Construcción68592,6%137.97241,8%acción`machine_unload`Industrial68592,6%137.97230,9%acción`unload_truck`Industrial68592,6%138.04035,3%acción`machine_lever`Industrial80692,5%162.32021,2%acción`assemble_snap_fit`Industrial77692,2%156.31051,3%acción`measure_tape`Industrial76692,1%154.20442,1%acción`chisel_carve`Industrial49491,8%99.42142,9%acción`wrench_bolt`Industrial85791,8%172.46534,1%acción`hammer_nail`Industrial84791,7%170.43620,2%acción`solder_pipe`Construcción70691,4%142.03037,1%acción`step_over`Cuerpo completo70691,4%142.10028,6%acción`gauge_read`Industrial78791,0%158.26235,9%acción`fold`Sobremesa (DROID)77790,9%158.76957,1%acción`tile_place`Construcción83890,4%168.40730,1%acción`solder`Industrial55689,1%111.59545,5%acción`screwdriver`Industrial72888,9%146.08843,1%acción`bend_lift`Cuerpo completo62788,7%125.86032,3%acción`power_drill_hole`Industrial70888,6%142.03040,9%acción`solder_joint`Industrial61788,5%123.83055,7%acción`mix_cement`Construcción68888,2%137.97243,3%acción`nail_gun`Construcción68888,2%137.97229,8%acción`drywall_screw`Construcción72987,5%146.08828,2%acción`lay_brick`Construcción801087,5%162.32027,5%acción`clamp_workpiece`Industrial62887,1%125.79835,5%acción`machine_load`Industrial62887,1%125.79819,4%acción`cut_vegetable`Hogar831186,7%168.40742,2%acción`torque_wrench`Industrial831186,7%168.40731,3%acción`cut_knife`Hogar731086,3%148.11734,2%acción`tire_pressure`Automotriz731086,3%148.11747,9%acción`weld_seam`Industrial871286,2%176.52331,4%acción`pliers_grip`Industrial721086,1%146.08850,7%acción`paint_brush`Construcción901385,6%182.61022,2%acción`wire_cut`Industrial761185,5%154.20434,2%acción`paint_roller`Construcción791383,5%160.29115,2%acción`breadboard_wire`Industrial651183,1%131.95044,6%acción`change_tire`Automotriz691282,6%140.00150,0%acción`kneel_work`Cuerpo completo551081,8%111.65045,5%acción`change_tire_wrench`Automotriz711381,7%144.05946,4%acción`assemble_part`Industrial701381,4%142.03064,3%acción`check_oil_dipstick`Automotriz801581,2%162.32043,8%acción`screw_panel`Industrial811680,2%164.43037,5%acción`lathe_operate`Industrial511178,4%103.47931,4%acción`engine_bay`Automotriz771777,9%156.23356,6%acción`probe_test`Industrial631477,8%127.89054,8%acción`machine_control`Industrial781876,9%158.26236,4%acción`screwdriver_drive`Industrial782074,4%158.26239,5%acción`weld`Industrial862274,4%174.49431,4%acción`power_drill`Industrial701874,3%142.03048,6%acción`impact_driver`Industrial701972,9%142.03035,3%acción`sit_stand`Cuerpo completo28871,4%56.84035,7%acción`tape_box`Industrial752369,3%152.25026,4%acción`jack_up_car`Automotriz782469,2%158.26227,3%acción`hand_saw_cut`Industrial772567,5%156.23332,9%acción`grinder_use`Industrial692366,7%140.00142,6%acción`pack_box`Industrial732861,6%148.11750,0%acción`car_door`Automotriz933661,3%188.69720,4%acción`car_door_close`Automotriz913660,4%184.63926,4%acción`car_door_open`Automotriz923858,7%186.66822,8%acción`wash_car_panel`Automotriz783653,8%158.26241,6%acción`wash_car`Automotriz723650,0%146.08845,1%acciónLocalizabilidad por acción. “Lo dice” cuenta los momentos cuyo propio título, descripción o etiquetas llevan alguna palabra del nombre de la acción bajo la regla de subcadena publicada. Las columnas de extrapolación multiplican el rendimiento por fragmento medido de cada acción por el número de fragmentos del índice y dividen por la superposición medida entre acciones; “base de la tasa” indica si la tasa utilizable fue medida en los fotogramas propios de esa acción, heredada de su dominio o heredada de la tasa a nivel de corpus. #### 3.5 Obtención de los fotogramas Para verificar que la recuperación era correcta, extrajimos un fotograma real de cada video coincidente y lo examinamos. Lo que YouTube expone sin extraer el video es el storyboard, una hoja de sprites de miniaturas cuyo intervalo de muestreo se amplía con el tiempo de ejecución: medimos 1 s en videos de hasta 109 s, 2 s de 175 s a 275 s, 5 s de 454 s a 892 s, y 10 s desde 1.366 s en adelante. Los límites de paso entre esas bandas no se resolvieron con los 12 videos que sondeamos. La imagen que juzgamos es la muestra más cercana en o antes del segundo coincidente, por lo que puede estar hasta un intervalo antes, 10 s en el peor caso y 5 s o 10 s para poco más de la mitad de los fotogramas. Medido por `storyboard_probe.py`; las especificaciones por video están en `data/storyboard_spec.json`. Un modelo de visión juzgó los 10.750 de 10.828 fotogramas que obtuvimos, por lo que cada tasa aquí se mide en el 99,3% del corpus en lugar de en una muestra. El **93,8%** son metraje real en lugar de animación, un juego o una grabación de pantalla; el **25,7%** captó la acción visiblemente en curso y el 57,4% la mostró en curso o preparada; el **34,5%** obtuvo una puntuación de 3 o superior en una escala de usabilidad de 0 a 5. Esa última cifra es un juicio sobre un proceso de entrenamiento posterior que el modelo no puede observar, y se comporta como tal: en una muestra de 60 fotogramas, cuatro ejecuciones de la configuración idéntica abarcaron 3,4 puntos, y reformular el criterio lo movió 20. La proporción de acción visible se movió 1,7 en ese mismo cambio de criterio, lo que la convierte en la cifra a comparar entre ejecuciones. Adquisición de fotogramas: ![Resultados de extracción de fotogramas sobre todos los momentos intentados](https://media.brightdata.com/2026/08/acquisition.svg)Cifras en formato de tablaResultadoMomentosProporciónFotogramas obtenidos10.750 / 10.82899%Sin storyboard analizable750,7%Fallo en la obtención del sprite30,03%Adquisición de fotogramas. Obtuvimos los storyboards directamente y encontramos limitación de velocidad en 863 de los 10.828 momentos, 856 de los cuales una pasada posterior recuperó, por lo que ninguno de los 78 momentos perdidos terminó con un 429; la [API de Datos de Medios](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json) es la ruta compatible para este paso y devuelve storyboards directamente. Esta auditoría no realizó ninguna llamada a ella. Esos momentos están en 7.549 videos, y un video cuesta una obtención de página de visualización más al menos una hoja de sprites, almacenada en caché por video. --- ### 4 Los momentos, reproducibles Las coincidencias se muestran frente al fotograma del storyboard más cercano en o antes del segundo en que fueron coincidentes. El ranking no está curado. 10.750 de los 10.828 momentos tienen un fotograma propio, y la galería completa tiene 10.761 filas porque 11 más comparten una imagen con otra acción coincidente en el mismo segundo. Esas filas descansan en 8.792 imágenes distintas, porque el nombre del archivo nombra un video y un segundo en lugar de una acción. A continuación se muestran los momentos coincidentes con mayor puntuación, uno por acción, directamente del ranking. **Haz clic en cualquier fotograma para reproducir el video fuente en el segundo coincidente.** [![Mano usando cinta métrica en tabla de madera](https://media.brightdata.com/2026/08/dsOefN6Mny8_168.jpg)](https://www.youtube.com/watch?v=dsOefN6Mny8&t=166s)[![Manos sosteniendo cortador de tubo de cobre](https://media.brightdata.com/2026/08/cKl6h0O2n80_701.jpg)](https://www.youtube.com/watch?v=cKl6h0O2n80&t=699s)[![Manos con guantes rosas ordenando pequeñas piezas metálicas blancas](https://media.brightdata.com/2026/08/3FQl-uhcrYI_138.jpg)](https://www.youtube.com/watch?v=3FQl-uhcrYI&t=136s)`measure_tape` · 0,391 · útil 4/5 Mano usando cinta métrica en tabla de madera *Shootout review and a work story!*`cut_pipe` · 0,388 · útil 2/5 Manos sosteniendo cortador de tubo de cobre *How Raw Copper Turns into a Masterpiece with Artistic Hammer Strikes⚒️🔥🇮🇷*`machine_load` · 0,386 · útil 2/5 Manos con guantes rosas ordenando pequeñas piezas metálicas blancas *THK rail | Installation guide | THK rail | Rail removal and installation | 0363.*[![Manos en controles de carretilla elevadora y volante](https://media.brightdata.com/2026/08/bqZxQKw5WEU_342.jpg)](https://www.youtube.com/watch?v=bqZxQKw5WEU&t=340s)[![Manos cerca de placa de circuito, configuración de soldadura poco clara](https://media.brightdata.com/2026/08/dNi7ayBp2nk_577.jpg)](https://www.youtube.com/watch?v=dNi7ayBp2nk&t=575s)[![Ambas manos agarrando el volante, girando](https://media.brightdata.com/2026/08/RtV-k39-4_496.jpg)](https://www.youtube.com/watch?v=_RtV-k39--4&t=494s)`forklift_controls` · 0,383 · útil 5/5 Manos en controles de carretilla elevadora y volante *JUST DRIVE : Forklift #38*`solder` · 0,382 · útil 3/5 Manos cerca de placa de circuito, configuración de soldadura poco clara *⚡ Simple DIY Repair Old Bike Battery And Install Separate USB Charging Port For* `steering_turn` · 0,378 · útil 5/5 Ambas manos agarrando el volante, girando *1995 Volvo 850 T5-R Wagon – POV Driving Impressions*[![Mano cerca de rollos de cinta y materiales de embalaje](https://media.brightdata.com/2026/08/Acq-JaCaZ4s_236.jpg)](https://www.youtube.com/watch?v=Acq-JaCaZ4s&t=234s)[![Manos manipulando tela blanca sobre superficie](https://media.brightdata.com/2026/08/NIUlXM8eO-c_441.jpg)](https://www.youtube.com/watch?v=NIUlXM8eO-c&t=439s)[![Manos con guantes cerca de configuración de máquina industrial](https://media.brightdata.com/2026/08/aDD3H8-GLw8_887.jpg)](https://www.youtube.com/watch?v=aDD3H8-GLw8&t=885s)`tape_box` · 0,376 · útil 1/5 Mano cerca de rollos de cinta y materiales de embalaje *Cell 32140 high discharge line – battery pack accessories 0824457979*`wipe` · 0,374 · útil 3/5 Manos manipulando tela blanca sobre superficie *Washed Notebook ASMR 📘✨ Radiator‑Dried Pages With Intense Crinkles*`machine_unload` · 0,373 · útil 1/5 Manos con guantes cerca de configuración de máquina industrial *Transmission Assembly – 1929 Ford Model A*[![Manos posicionando pistola de clavos en armazón de madera](https://media.brightdata.com/2026/08/qugpJY_vgYQ_731.jpg)](https://www.youtube.com/watch?v=qugpJY_vgYQ&t=729s)[![Persona levantándose de la silla usando apoyabrazos](https://media.brightdata.com/2026/08/Wlw81mG4t74_863.jpg)](https://www.youtube.com/watch?v=Wlw81mG4t74&t=861s)[![Mano escribiendo en cuaderno cerca de portapapeles](https://media.brightdata.com/2026/08/GKP-rqZoDuo_21084.jpg)](https://www.youtube.com/watch?v=GKP-rqZoDuo&t=21082s)`nail_gun` · 0,371 · útil 4/5 Manos posicionando pistola de clavos en armazón de madera *Building a deck for garden raised bed – Part 1*`sit_stand` · 0,371 · útil 5/5 Persona levantándose de la silla usando apoyabrazos *Flexibility and Mobility Senior Chair Exercise*`count_stock` · 0,371 · útil 2/5 Mano escribiendo en cuaderno cerca de portapapeles *\[26.4.16.Thu.\] Study with me | Studying together | Thursday meet-up! | Firefight*[![Dos manos sosteniendo sondas de multímetro en circuito](https://media.brightdata.com/2026/08/BsuRceDcme4_1360.jpg)](https://www.youtube.com/watch?v=BsuRceDcme4&t=1358s)[![Manos sosteniendo botellas cerca de apertura de caja, sin cortar](https://media.brightdata.com/2026/08/2aPPTbhPz3w_11813.jpg)](https://www.youtube.com/watch?v=2aPPTbhPz3w&t=11811s)[![Persona boca abajo en el suelo en posición de trabajo](https://media.brightdata.com/2026/08/oATd18wPPe8_67.jpg)](https://www.youtube.com/watch?v=oATd18wPPe8&t=65s)`probe_test` · 0,371 · útil 5/5 Dos manos sosteniendo sondas de multímetro en circuito *How to Measure Electronic Components with a Multimeter (Complete Guide)*`open_carton` · 0,369 · útil 2/5 Manos sosteniendo botellas cerca de apertura de caja, sin cortar *Oddly Satisfying Video-How to Cutting New Wooden Fruits and Vegetables ASMR – Cu*`kneel_work` · 0,369 · útil 3/5 Persona boca abajo en el suelo en posición de trabajo *Lupimorphie, animal-performance by Régis Moulu, Capsule 114, dance*[![Persona empujando carrito pesado con ambas manos](https://media.brightdata.com/2026/08/Rc0zu29h0Rg_25.jpg)](https://www.youtube.com/watch?v=Rc0zu29h0Rg&t=23s)[![Mano guiando cincel en talla de madera](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s)[![Mano girando volante de carro transversal de torno con pieza giratoria](https://media.brightdata.com/2026/08/uF8evG-9QH8_746.jpg)](https://www.youtube.com/watch?v=uF8evG-9QH8&t=744s)`push_heavy_cart` · 0,367 · útil 4/5 Persona empujando carrito pesado con ambas manos *2321FI”2-Step Multi-Functional Aluminum Alloy Step Trolley: Comprehensive Usage* `chisel_carve` · 0,366 · útil 5/5 Mano guiando cincel en talla de madera *adapt and overcome 🌱*`lathe_operate` · 0,362 · útil 5/5 Mano girando volante de carro transversal de torno con pieza giratoria *Unbelievable Damage! Caterpillar Cylindrical Roller Bearing Destroyed 😱*Cada celda: la acción para la que fue coincidente y su puntuación de relevancia, luego lo que el modelo de visión vio en el fotograma (mostrado la imagen sin el título), luego el título propio del video en español. Las marcas de tiempo se abren dos segundos antes para que el momento entre en vista. --- ### 5 Trabajos relacionados Recuperar un momento por descripción es una tarea establecida: anclaje temporal en [Charades-STA](https://arxiv.org/abs/1705.02101), detección de momentos destacados en [QVHighlights](https://arxiv.org/abs/2107.09609), consultas en lenguaje natural en [Ego4D](https://arxiv.org/abs/2110.07058). No introducimos ningún método nuevo aquí. La construcción tiene precedentes. [TVR](https://arxiv.org/abs/2001.09099) (2020) etiquetó sus 108.965 consultas según si el video, los subtítulos o ambos las respondían, reportando un **74,2% solo en video**. Lo que difiere es el corpus y el propósito: video web abierto en lugar de seis programas de televisión, acciones físicas, una submuestra verificada y una proporción de costo. El formato de publicación sigue a [AVA](https://research.google.com/ava/download.html) y [HowTo100M](https://www.di.ens.fr/willow/research/howto100m/): identificador, marca de tiempo y etiqueta, sin redistribuir ningún video. La recuperación a lo largo del proceso es la [API de búsqueda de video](/ai/video-data/vla). Los fotogramas aquí se obtuvieron analizando el storyboard de YouTube de la página de visualización; no se extrajo ningún clip en ningún momento. Para una ejecución en producción, la ruta compatible es la [API de Datos de Medios](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json). Lo que establece la auditoría es más limitado que un reemplazo de las demostraciones robóticas. La web alberga una capa grande y mal indexada de metraje de acciones físicas, y la búsqueda visual con marcas de tiempo hace que esa capa sea considerablemente más fácil de alcanzar. Si el metraje curado de esta manera mejora de manera medible un sistema de robótica o de modelo de mundo es la siguiente pregunta, y responderla necesita un experimento de entrenamiento que esta auditoría no realizó. --- ### 6 Cita ```none @misc{webmoments2026, title = {Finding the Web's Hidden Robot Training Moments in Public Web Video Data}, author = {Bright Data}, year = {2026}, howpublished = {Technical report}, note = {141 physical actions, 10,828 retrieved match rows over 8,849 distinct video-second moments, and 10,750 frames reviewed by a vision model} } ``` Contactar ventasPrueba gratuita![google social icon](/wp-content/themes/brightdata/assets/images/ic_google.svg) Tabla de Contenidos [ ](https://news.ycombinator.com/submitlink?t=Encontrando+los+momentos+de+entrenamiento+rob%C3%B3tico+ocultos+en+videos+p%C3%BAblicos+de+la+web&u=https://brightdata.es/blog/ai/robot-training-data-in-public-web-video) [ ](https://www.linkedin.com/shareArticle?mini=true&title=Encontrando+los+momentos+de+entrenamiento+rob%C3%B3tico+ocultos+en+videos+p%C3%BAblicos+de+la+web&url=https://brightdata.es/blog/ai/robot-training-data-in-public-web-video) [ ](http://www.reddit.com/submit?title=Encontrando+los+momentos+de+entrenamiento+rob%C3%B3tico+ocultos+en+videos+p%C3%BAblicos+de+la+web&url=https://brightdata.es/blog/ai/robot-training-data-in-public-web-video) ## Usted también puede estar interesado en [ ![OpenHuman with Bright Data](https://media.brightdata.es/2026/09/OpenHuman-with-Bright-Data.png) ](https://brightdata.es/blog/ai/openhuman-with-bright-data "Acceso Web Listo para Producción en OpenHuman a Través de la CLI de Bright Data") [AI ![Antonello Zanini](https://media.brightdata.es/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Acceso Web Listo para Producción en OpenHuman a Través de la CLI de Bright Data Integra la CLI de Bright Data con OpenHuman para habilitar acceso web listo para producción y recopilación de datos para agentes de IA. 09-Sep-2026 14 min de lectura ](https://brightdata.es/blog/ai/openhuman-with-bright-data) [ ![Multimodal Web Scraping with MiniMax](https://media.brightdata.es/2026/09/Multimodal-Web-Scraping-with-MiniMax.png) ](https://brightdata.es/blog/datos-web/multimodal-web-scraping-with-minimax "Scraping Web Multimodal con MiniMax") [Datos web ![Antonello Zanini](https://media.brightdata.es/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Scraping Web Multimodal con MiniMax Combina Bright Data Web Unlocker con la visión de MiniMax M3 para extraer datos estructurados de imágenes y capturas de pantalla de páginas web. 09-Sep-2026 5 min de lectura ](https://brightdata.es/blog/datos-web/multimodal-web-scraping-with-minimax) [ ![The 10 Best CLI Tools for Codex in 2026](https://media.brightdata.es/2026/08/The-10-Best-CLI-Tools-for-Codex-in-2026.png) ](https://brightdata.es/blog/ai/best-cli-tools-for-codex "Las 10 mejores herramientas CLI para Codex en 2026 – Probadas y clasificadas") [AI ![Daniel Shashko](https://media.brightdata.es/2022/04/Daniel-Shashko-2-50x50.png) Daniel Shashko Web Data & AI Expert ### Las 10 mejores herramientas CLI para Codex en 2026 – Probadas y clasificadas Las 10 herramientas CLI que hacen a Codex más rápido y capaz, comenzando con la Bright Data CLI para acceso web real desde dentro del sandbox. 06-Sep-2026 24 min de lectura ](https://brightdata.es/blog/ai/best-cli-tools-for-codex)