Adaptació dels mons real i virtual per a la detecció de vianants
La detecció de vianants és de gran interès per a moltes aplicacions com els sistemes avançats d'assistència a la conducció, la conducció autònoma, la videovigilància o els sistemes multimèdia. Els millors detectors de vianants estan compostos per classificadors basats en l'aparença i entrenats amb dades anotades, és a dir, amb imatges en què la presència d'un vianant és anotada mitjançant un rectangle. No obstant això, aquest procés d'anotació és esgotador i avorrit per a les persones, és per això que és important reduir la intervenció humana en aquest procés utilitzant mons virtuals realistes procedents de videojocs. Aquestes eines permeten generar automàticament anotacions precises d'informació visual variada.
Amb tot, l'ús d'aquest tipus de dades llança la següent pregunta: És possible per a un model de vianant basat en aparença amb dades procedents d'un món virtual funcionar en el món real? Per contestar aquesta pregunta hem realitzat diferents experiments i hem observat que sí que és possible.
Hem observat que els detectors de vianants entrenats amb dades del món virtual no funcionen tan bé com els entrenats amb dades del món real. Aquest problema és conegut com a desplaçament de domini i fins i tot passa quan tractes d'entrenar un domini específic del món real (exemple: platja) i després ho intentes aplicar en un domini real diferent (exemple: muntanya). Per resoldre aquest problema hem desenvolupat diferents tècniques i les hem integrat totes en un mateix sistema anomenat V-AYLA. Aquestes tècniques es basen en mètodes que permeten adaptar un classificador de vianants entrenant amb unes poques mostres de vianants del domini de destinació (món real) combinades amb moltes mostres procedents del domini d'origen (món real). Amb l'extens conjunt d'experiments presentats en els nostres articles es pot confirmar que els detectors de vianants obtinguts mitjançant V-AYLA realment aconsegueixen adaptar-se al domini de destinació.
Figura: Fotograma del vídeo del nostre detector de vianants virtual adaptat per funcionar en el món real.
Els resultats presentats en aquest treball no es limiten a una proposta de com adaptar un detector de vianants après en un món virtual perquè funcioni en el món real, sinó que van més enllà i mostren una nova metodologia que en un futur permetrà als sistemes adaptar-se automàticament a noves i variades situacions per a les quals no estaven dissenyats. Esperem que aquest treball sent les bases per a futures investigacions en aquesta àrea encara sense explorar.
Aquesta recerca ha estat realitzada en el grup de recerca Advanced Driver Assistance Systems (ADAS) pertanyent al Centre de Visió d'Computador (CVC) i finançada pels projectes espanyols del MICINN: TRA2011-29454-C03-01i TIN2011-29494-C03-02.
Figura superior esquerra: Fotograma del vídeo d'una seqüència del món virtual (esquerra) amb el seu corresponent anotació automàtica (dreta).
Referències
Vázquez, David; Marín, Javier; López, Antonio M.; Ponsa, Daniel; Gerónimo, David. Virtual and Real World Adaptation for Pedestrian Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence 34(4): 797–809. 2014. doi: 10.1109/TPAMI.2013.163.
Xu, Jiaolong; Ramos, Sebastian; Vázquez, David; López, Antonio. Domain Adaptation of Deformable Part-Based Models. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2014. doi: 10.1109/TPAMI.2014.2327973.
