izvor podataka: poirot

Afektivna multimodalna interakcija temeljena na konstruiranoj robotskoj spoznaji

Affective Multimodal Interaction based on Constructed Robot Cognition


AMICORC će istražiti recentna istraživanja o ljudskoj spoznaji, kognitivnoj robotici te interakciji čovjeka i robota, te koristiti te spoznaje kao osnovu za razvoj novih strategija interakcije. Računalna arhitektura razvijena u AMICORC-u će se moći shvatiti kao pretvornik konteksta u podatke kao formu koja je razumljiva strojevima na temelju stalnih promjena u perspektivi. AMICORC će rezultirati Teorijom konstruirane robotske spoznaje (TCRC) koja će biti nova teorija informacija i okvir za integriranje ljudskih, robotskih i okolišnih perspektiva za interakciju i prilagodbu robota te njegovo okolišno utjelovljenje. Takve će se perspektive stalno mijenjati kroz interakciju unutar zajedničkog okruženja temeljem novih, nedostatnih i/ili djelomičnih informacija. AMICORC će rezultirati promjenom paradigme, odmakom od čistih podataka koji su prikupljeni senzorima prema kontekstualnoj percepciji.Za potrebe ove studije, četiri različita izvora socijalnih signala analizirat će se kroz multimodalnu interakciju, uključujući: prepoznavanje emocija lica, određivanje glasnoće u prostoriji, intenzitet pokreta tijela te analizu osjećaja kroz govor. Na ovaj će način sustav interpretirati socijalne signale kako bi stvorio hipoteze i odaslao neverbalne signale koristeći tehnike vizualizacije informacija osobi u interakciji. Kao dokaz koncepta, cjelokupna metodologija će biti implementirana i testirana u nekoliko scenarija na stvarnom robotu, te uronjenom i virtualnom agentu. Tijekom eksperimenata nastavnik će moći prilagoditi stil prezentacije i postići bolje približavanje studentu. Procjena upotrebljivosti temeljit će se na pristupu Wizard of Oz, koji će omogućiti učitelju interakciju s učenicima kroz robotsko sučelje. Ugrađene funkcionalnosti pružit će stupanj situacijske utjelovljenosti, samorazjašnjivosti i interakcije. Planirano istraživanje pokazat će na koji način i u kojoj mjeri kognitivni robot može biti stvarno učinkovit u tehnološki poboljšanom učenju.

AMICORC will analyze recent research findings in human cognition, cognitive robotics and human robot interaction, and use them as the basis for developing new robot reasoning and interaction strategies. Computational architecture developed in AMICORC could be seen as context-to-data interpreter that endow machines to “reason” based on constantly changing perspectives. AMICORC will output the Theory of Constructed Robot Cognition (TCRC) as a new theory of information and generic framework for integrating human, robot and environmental perspectives on robot embodiment, interaction and adaptation. Such perspectives will change constantly through interaction within shared environment based on newly acquired, insufficient of partial information. AMICORC will result in a paradigm shift, moving away from sensed data toward contextual anticipation. For the purposes of this study, four distinct sources of social signals will be analyzed in multimodal interaction, including: face emotion recognition, level of loudness in the room, intensity of body movements and sentiment analysis applied on speech. In this way, the system will interpret social signals to generate hypotheses and output non-verbal signals using information visualization techniques to the person in interaction. As a proof-of-concept, the overall methodology will be implemented and tested in couple of testing scenarios on real, augmented or virtual social robot. During the experiments the teacher will be able to adapt the presentation style and achieve better rapport with the student. Usability evaluation will be based on the Wizard of Oz approach, allowing a teacher to interact with students through a robotic interface. Built-in functionalities of the robot will provide a degree of situational embodiment, self-explainability and context-driven interaction. The planned research will show in what way and to what extent a cognitive robot can be truly effective in technology-enhanced learning.


umjetna inteligencija, afektivna robotika, autonomni sustavi, multimodalna interakcija, interakcija robota i čovijeka

artificial intelligence, affective robotics, autonomous systems, multimodal interaction, human-robot interaction

Znanstveno-istraživački projekti

AMICORC

UIP-2020-02-7184

01.02.2021

31.01.2026

nije evidentirano

HRK 1.431.212,48