UABDivulga - Barcelona recerca i innovació

HERMES ("Human Expressive Representations of Motion and their Evalutation in Sequences") es basa en l'anàlisi del comportament humà a partir de seqüències de vídeo capturades amb tres nivells d'enfocament: el de l'individu, com un objecte relativament allunyat; el del seu cos, amb una proximitat mitjana que permet analitzar les seves postures; i el del rostre, que permet estudiar amb detall les seves expressions facials. La informació obtinguda, processada per algorismes de visió per computador i d'intel·ligència artificial, permet al sistema aprendre i reconèixer patrons de moviment.

HERMES aporta dues novetats importants en el camp de la visió per computador. La primera és la descripció dels moviments captats per les càmeres en llenguatge natural, a través de frases senzilles i precises que van apareixent en la pantalla de l'ordinador en temps real, juntament amb el número de fotograma en què es produeix l'acció. El sistema pot utilitzar també un avatar parlant i descriure la informació en diferents idiomes. La segona és la possibilitat d'analitzar i de descobrir potencials comportaments inusuals -a partir dels moviments apresos- i d'alertar-nos-en. Per exemple, HERMES enviarà un avís al centre de control d'una estació de metro quan capti un individu que intenti baixar a la via del tren, o alertarà quan una persona gran que visqui sola tingui una caiguda.

Set han estat els subprojectes en què han treballat els investigadors per desenvolupar HERMES:

1.- El sistema de càmeres: s'han utilitzat càmeres estàtiques per abastar l'escena completa, i càmeres actives d'alta resolució -sensors "pan-tilt-zoom" (inclinació horitzontal i vertical i zoom)-, que permeten un seguiment i una major aproximació als individus de manera automàtica. Per fer-ho, s'han aplicat tècniques d'optimització de la informació continguda en les imatges.
2.- L'anàlisi del moviment dels objectes i dels individus de la imatge. La informació obtinguda és utilitzada per guiar les càmeres actives cap a on es produeixen les accions. Aquests problemes s'han abordat amb diferents tipus de tècniques de seguiment.
3.- L'anàlisi del moviment del cos dels individus, per extraure la informació de les diverses parts del cos, analitzar les accions i descriure i preveure el comportament. S'han fet servir tècniques basades en el reconeixement de patrons i de siluetes.
4.- L'anàlisi del moviment facial, per a la comprensió de l'estat emocional dels individus, la seva actitud i les possibles reaccions. En aquest subprojecte s'han utilitzat i s'han desenvolupat noves tècniques per al seguiment i l'alineació dels rostres en 2D i en 3D.
5.- La integració del programari i del llenguatge natural, amb l'objectiu de descriure el que està passant en les escenes registrades, amb un esquema conceptual de representació.
6.- La integració de tot el sistema, programari i maquinari, per treballar en entorns reals i en temps real. S'ha dissenyat i implantat tot el sistema en una arquitectura orientada al funcionament en escenaris reals.
7.- La generació de seqüències virtuals a partir de la descripció de comportaments en llenguatge natural i la interactuació dels dos móns, el real i el virtual, en una mateixa seqüència, amb tècniques de realitat augmentada.

Els avantatges d'aplicació que suposa HERMES són evidents, principalment en l'àmbit de la vigilància intel·ligent i la prevenció d'accidents i de delictes, però els investigadors consideren que també té un gran potencial com a eina d'estudi en altres camps, com el màrqueting o la psicologia.

HERMES ha estat un projecte coordinat per Juan José Villanueva, professor emèrit del Departament de Ciències de la Computació de la UAB i des de fa un any exdirector del CVC, del que va ser director durant els últims 14 anys.

El nou sistema, que ha rebut varis premis científics en els millors congressos especialitzats, ha estat desenvolupat dins del 6è Programa Marc de Recerca de la Unió Europa. Amb una durada de tres anys i mig i un pressupost de 2.100.000 euros, en la seva realització han participat investigadors de cinc dels grups de recerca més reconeguts d'Europa en aquesta àrea i d'una empresa especialitzada en tecnologies de la informació i la comunicació: el CVC de la UAB (Espanya) que ha actuat como coordinador; l'Institut für Algorithmen und Kognitive Systeme (IAKS), de la Universitat de Karlsruhe (Alemanya); el Computer Vision and Media Technology Laboratory (CVMT), de la Universitat d'Aalborg (Dinamarca); el Computer Vision Laboratory (BIWI), de l'ETH -Eidgenoesssiche Technische Hochschule Zürich- (Suïssa); l'Active Vision Laboratory (AVL), de la Universitat d'Oxford (Regne Unit); i Answare Technologies (Espanya).

Per veure una demostració del sistema HERMES, cliqueu aquí.