izvor podataka: poirot

Automatsko raspoznavanje akcija i aktivnosti u multimedijalnom sadržaju iz domene sporta

Automatic recognition of actions and activities in multimedia content from sports domain


Multimedijalni materijali poput digitalnih slika i videa postale su važan medij za pohranu i razmjenu informacija. U domeni sporta stvara se velik broj multimedijalnih materijala s različitih takmičenja, utakmica ili priprema te postoji jak interes za njihovom analizom kod sportaša i trenera, od amaterskih, preko profesionalnih do rekreativnih. U profesionalnom sportu takva analiza je danas neophodna ali još se uvijek vrši uglavnom ručnim označavanjem pojedinih akcija. Razvoj postupaka za automatsku detekciju akcija i tumačenje aktivnosti sportaša omogućio bi učinkovitiju analizu i širu dostupnost takvih rješenja svima koji se žele baviti sportom. Analiza pojedinih akcija kao što su npr. okret kod plivanja ili korak kod trčanja važna je za sportaše, trenere i fizioterapeute jer omogućuje praćenje točnosti izvođenja vježbi, unaprjeđenje njihove izvedbe te praćenje napretka. Za tumačenje više slijednih akcija i njihovo povezivanje u smislenu aktivnost potrebno je znanje iz domene sporta. Predlaže se istraživanje u kojem bi se razvili postupci za detekciju i označavanje akcija iz domene sporta u multimedijalnom sadržaju. Polazna točka za detekciju akcija bit će postupci temeljeni na strojnom učenju i značajkama koje opisuju prostorno-vremensku dimenziju multimedijalnog sadržaja. Za automatsko povezivanje i interpretaciju slijednih akcija u složenije aktivnosti razvit će se model temeljen na znanju o domeni sporta koja ima dobro definirana pravila, poznatu strukuru i kontekst te postoje jasne uloge sportaša i ostalih sudionika. Za modeliranje neizrazitog znanja o domeni i vremenskih odnosa definirat će se shema za predstavljanje znanja temeljena na teoriji vremenskih i neizrazitih Petrijevih mreža ili sličan formalizam. Zbog specifičnosti svakog sporta, u istraživanju će se razmatrati akcije iz odabranih sportova, no pri tome će se imati u vidu mogućnost primjene postupaka i na druge sportove.

Multimedia content such as digital images and video has become an important storage and exchange media. A large amount of such content from competitions, games, and training sessions is constantly being created in the sports domain, and there has been a great interest in multimedia content analysis among athletes and coaches, on all levels from professional to recreational. Such analysis is indispensable in modern professional sports but is still done primarily by manual annotation of individual actions. Development of methods for automatic action detection and athlete’s activity interpretation would enable more efficient analysis and broaden the availability of analysis solutions to everyone involved with sports. Analysis of individual actions, such as swimming turns or steps in running, is important for athletes, coaches, and physical therapists alike because it allows them to monitor the form of performing individual exercises, to improve the athlete’s performance, and to keep track of the progress. For the interpretation of multiple sequential actions into meaningful activity, sports domain knowledge is necessary. We propose research in which methods for sports domain action detection and annotation in multimedia content would be developed. The starting point for action detection are methods based on machine learning and features that describe the Spatio-temporal dimensions of multimedia content. For interpretation of sequential actions into more complex activities, a model will be developed based on the sports domain, which has well-defined rules, a known structure and context and clear roles exist for athletes and others involved. To model the fuzzy knowledge of the domain and temporal relations a knowledge representation scheme will be defined based on the theory of timed and fuzzy Petri nets or a similar formalism. Due to the specifics of different sports, actions from chosen sports will be considered in the research. The project outcomes will include models for automatic recognition of individual actions and activities as well as metrics for comparing the performance of an action with a reference performance. The developed prototype will be used to develop a system that will allow athletes, coaches, physiotherapists, and others to track the performance of exercises, performance improvement, progress monitoring, collection of statistical data for analysis of a sports event, and similar.


raspoznavanje akcija, predstavljanje znanja, algoritmi zaključivanja, prostorno-vremenske značajke, vremenske neizrazite Petrijeve mreže

action recognition, knowledge representation, inference algorithms, STIP features, timed Fuzzy Petri nets

Znanstveno-istraživački projekti

RAASS

IP-2016-06-8345

01.01.2017

11.03.2020

nije evidentirano

HRK 593.000,00