Realtidsmätning av affektiva och kognitiva tillstånd med ögonrörelsemätning och Machine Learning

Viktiga resultat som projektet gav

Tidigare forskning har visat att ögats och pupillens beteende är relaterat till ett flertal affektiva och kognitiva tillstånd som uppmärksamhet, mental arbetsbelastning samt individens möjlighet att bearbeta information under vissa förhållanden. Realtidsmätning av fysiologiska signaler från en pilot bedöms därmed bli mycket användbart för att - i realtid och under uppdrag - bedöma operatörens arbetsbelastning, trötthet och uppmärksamhet samt ge adekvat stöd i människa-maskingränssnittet.

Långsiktiga effekter som förväntas

Detta projekt har undersökt nästa generations ögonrörelsedetektion för piloter, speciellt med avseende på rörelser mellan fixeringar, så kallade sackader, mikrorörelser samt relaterade pupillbeteenden som korrelerar med ovan nämnda kognitiva tillstånd. Förväntade steg har tagits mot målet att utveckla ett demonstrationssystem med avancerad mätning och analys av olika ögonparametrar för att i realtid bedöma uppmärksamhetsnivå, mental arbetsbelastning, samt när piloten är mottaglig för information i HMI-gränssnittet.

Upplägg och genomförande

Ansatsen var baserad på mätning med höghastighetskamera och realtidsanalys med Machine Learning (ML). Prototyp har implementeras på energisnål hårdvara. Dataset för ML har tagits fram i simulator och detektionsalgoritmerna utvecklats i superdator. Den utvecklade demonstratorn och mjukvaran är förutom att bli viktig för utvärderingar - även en betydelsefull resurs i andra forskningsprojekt.