Honda Research Institute: ayudar a los investigadores a encontrar los momentos que importan en horas de datos de manejo

Un investigador que le enseña a un algoritmo a manejar un auto que se le cierra, un peatón que cruza o una autopista con lluvia necesita esos momentos, y solo esos, de todos los sensores a la vez. Honda Research Institute (HRI) los graba con vehículos de prueba en Europa y Estados Unidos, y un solo recorrido produce horas de video y de datos de sensores sincronizados, que se guardan en almacenamiento de big data por su volumen y variedad.

Las grabaciones anotadas son la referencia con la que se entrena y se mide el trabajo de aprendizaje automático de HRI. En 2015, HRI nos pidió una aplicación web donde sus ingenieros pudieran buscar en ese repositorio por lo que ocurrió, ver los datos lado a lado y extraer exactamente lo que necesitaban para su análisis.

Talleres con quienes graban los datos

Empezamos en junio de 2015 con talleres de diseño con los equipos de HRI en Europa y Estados Unidos que operan los vehículos de grabación, y convertimos lo que nos dijeron en requisitos: buscar por lo que ocurrió y por dónde está cada sensor en el auto, en una sola pantalla siempre que se pudiera, y de forma visual antes que con texto.

Un grafo que sabe qué hay en cada recorrido

Diseñamos un modelo de datos en grafo que describe el almacén de big data: vehículos, sensores, recorridos, flujos de datos y las etiquetas que agregan los investigadores, del clima a los cambios de carril. Construido sobre Carbon LDP, la plataforma de datos enlazados que creó Base22, permite a la aplicación encontrar datos según los parámetros que indican los ingenieros y relacionar datos a medida que llegan nuevas grabaciones. Los datos en grafo todavía eran un enfoque temprano a esta escala; nosotros habíamos apostado por él con nuestra propia plataforma.

Reproducir un recorrido tal como ocurrió

La aplicación, en producción desde 2016, permite a los investigadores buscar recorridos, reproducirlos con video, un mapa y líneas de tiempo de cada flujo anotado, recortar clips y seleccionar conjuntos de datos para entregarlos a análisis. El Release 2 sumó etiquetado de metadatos, una taxonomía de anotaciones, un editor de anotaciones que crea los conjuntos de datos de entrenamiento con los que se comparan los resultados del aprendizaje automático, y colecciones de imágenes anotadas tomadas del video.

El procesamiento, en manos de las máquinas

En 2017 construimos un Job Manager sobre Hadoop y Apache Kafka que automatiza el procesamiento, el recorte y la exportación de video y datos de sensores, para que un clip solicitado en la interfaz se prepare sin que nadie lo ejecute a mano.

Entregado a Honda en Japón

En 2018–2019 llevamos la aplicación a la infraestructura de investigación de Honda en Japón, actualizamos su front end y su plataforma de grafos, automatizamos la importación de nuevas grabaciones y capacitamos a los equipos de Honda en el Job Manager, para que los equipos de Estados Unidos y Japón trabajen con el mismo sistema.

Con la aplicación, los investigadores de HRI buscan en el repositorio lo que ocurrió, ven todos los sensores sincronizados y mandan a análisis o a entrenamiento exactamente los clips y flujos que necesitan. La prueba de concepto y la primera versión en producción se entregaron a tiempo, entre junio y septiembre de 2016, y su arquitectura se volvió el patrón del Job Manager que siguió.

En 2019 la aplicación pasó a los equipos de Honda en Japón, con equipos en Estados Unidos y Japón trabajando con los mismos datos. La diseñamos y construimos, junto con su modelo de datos en grafo, de 2015 a 2019.