Investigadores de China han desarrollado un nuevo algoritmo que puede permitir el control del vuelo de drones interpretando directamente la visión del usuario. Efectivamente, el operador humano ‘se convierte’ en el dron y guía su trayectoria en función de la dirección de la mirada del usuario.
El punto de vista del usuario se ve en la parte inferior izquierda, con la ruta de vuelo del dron capturada externamente por un dispositivo de sombra. Vea el video al final del artículo para obtener imágenes de movimiento completo extendidas. Fuente: https://www.youtube.com/watch?v=WYujLePQwB8
Él papel se llama GPA-Teleoperation: Gaze Enhanced Perception-aware Assistive Aerial Teleoperation, y proviene de investigadores del Instituto de Sistemas Cibernéticos y Control de la Universidad de Zhejiang y la Escuela de Automatización del Instituto de Tecnología de Nanjing. Los investigadores también han publicado hoy un video que demuestra las capacidades del sistema (ver el final del artículo).
Más allá del control abstracto
Los investigadores buscan eliminar la capa de abstracción para el control de drones, argumentando que las unidades de control secundarias requieren capacitación y son solo una abstracción aproximada de la intención del usuario, lo que lleva a maniobras impredecibles y mala interpretación de los movimientos de guía.
Un artículo a principios de año, de los mismos investigadores, enfatizó la importancia de la visibilidad de la línea de visión en la navegación de drones, y el trabajo actual es un desarrollo de los hallazgos de esa investigacion.
Arriba, un compuesto de la trayectoria del ‘curso de asalto’ del laboratorio de pruebas de drones (vea el video final para las pruebas exteriores en un entorno natural al aire libre). Abajo, el operador usa un rastreador ocular que se alimenta a través de la vista directa de la cámara delantera del dron quadrotor (abajo a la derecha). Fuente: https://arxiv.org/pdf/2109.04907.pdf
Algoritmo
GPA utiliza un optimizador de back-end que refina la mirada del usuario en la ruta óptima más segura, posiblemente equivalente a ‘apuntar automáticamente’ en los videojuegos, prácticamente con latencia cero (por razones obvias).
Los módulos del subsistema UAV se instalan directamente en el dron, incluidas las instalaciones para los módulos de estimación, planificación, mapeo y control del estado. El sistema local recibe datos de la mirada de una unidad de un solo ojo montada en un arnés para la cabeza por parte del usuario final, que proporciona una ruta topológica inicial, que el sistema debe desinfectar sobre la marcha.
Para crear una experiencia coherente para el control remoto, la vista monocromática que recibe el usuario se centra automáticamente mediante el sistema de dron a bordo, sobre todo porque sin esto sería difícil interpretar las nuevas desviaciones previstas de la ruta (como lo indica un cambio de dirección de la mirada).
El sistema primero analiza las coordenadas vectoriales estimadas del flujo de imágenes. Dado que la entrada de video del sistema de los investigadores actualmente es monocular, el límite de profundidad de percepción de la cámara se usa para obtener un segundo vector (profundidad) que se impone al vector 2-D derivado de la imagen. En teoría, las iteraciones posteriores podrían usar cámaras estéreo para mejorar esta canalización, aunque queda por ver si la sobrecarga de procesamiento adicional dejaría intacto el beneficio de la percepción 3D basada en hardware.
En cualquier caso, con los valores 3D obtenidos, el cálculo se utiliza como origen para un Búsqueda primero en amplitud (BFS). Los píxeles que BFS obviaría de otro modo (es decir, los píxeles identificados como ya dentro de los límites) se utilizan como punto de anclaje para Agrupación de DBSCAN (si aún no está agrupado), y la rutina vuelve a la evaluación BFS desde el último punto de interrupción.
La arquitectura de GPA.
El proceso itera hasta que se identifica y etiqueta un objeto dentro de los parámetros de margen correspondientes a un campo de visión (FOV, que, en este caso, debe ser absolutamente claro para evitar colisiones).
Finalmente, los cálculos vectoriales se utilizan para generar caminos claros, o bien para validar que la dirección de la mirada del usuario ya es un camino seguro a través o más allá de un obstáculo.
Pruebas donde el sistema ignora la visibilidad (izquierda) y donde la trayectoria se vuelve a calcular para considerar la visibilidad como crítica para una ruta de vuelo (derecha).
Pruebas
Para probar el sistema de control de drones basado en la mirada, los investigadores chinos utilizaron una serie de voluntarios sin conocimiento del sistema y sin experiencia en el control del vuelo de drones. Se pidió a los sujetos que navegaran carreras de obstáculos en entornos cerrados y exteriores con solo tres breves rutinas de orientación con las que familiarizarse con el funcionamiento básico del sistema.
Además, después de haber informado a los voluntarios sobre la topología básica de los obstáculos, los investigadores agregaron “obstáculos sorpresa” no incluidos en la sesión informativa.
Arriba, las trayectorias del dron quadrotor en línea, coloreadas por altura. A continuación, los obstáculos navegables, empezando por los boxes y pasando a los anillos.
En la práctica, el sistema fue capaz de corregir efectivamente los datos de la mirada para que los drones de espacio crítico utilizados pudieran pasar (o atravesar) los obstáculos en forma de anillo y caja sin colisión, y los investigadores concluyeron que su sistema es a la vez intuitivo y seguro, con un alto margen de seguridad en la operación.
Los investigadores también compararon el rendimiento de su enfoque con la arquitectura FocusTrack en el aire mavic 2 sistema, concluyendo que supera a este último al ser capaz de medir y actuar sobre la intención precisa del usuario.
La tecnología de seguimiento ocular se ha investigado ampliamente en campos como la recopilación de datos de vehículos autónomos para sistemas SDV basados en aprendizaje automático y en la investigación de los patrones de atención de los pilotos, entre otros sectores. En julio de este año, un equipo de investigación de Bulgaria publicado hallazgos de las observaciones de los pilotos de vehículos aéreos no tripulados (UAV) que establecieron la etapa de aterrizaje de un vuelo como el más desafiante para los principiantes.
Vea el video oficial de los investigadores para GPA, a continuación.