Tu sei qui

Multimedia Mining

L’analisi automatica di oggetti multimediali (ad esempio video) consente di estrarre le informazioni più significative in termini di immagini e keywords/concetti semantici ed è estremamente utile ai fini dell’indicizzazione, della sintesi e della classificazione di materiale multimediale e, più in generale, per la produzione automatica di metadati utilizzabili in diverse applicazioni (e-learning, conferenze, videosorveglianza, analisi di broadcast, immagini biomediche, …).

L’analisi della componente audio consente di separare il parlato dalle parti di silenzio, musica o rumore e di analizzarlo separatamente. Attraverso processi di riconoscimento vocale (Automatic Speech Recognition) è possibile ottenere la trascrizione di ciascun brano che, opportunamente adattato, può essere analizzato con i consueti strumenti di Natural Language Processing e di Text Mining.

L’analisi della componente video consente di estrarre le principali keyframes o scene rappresentative e l’analisi delle immagini consente di individuare oggetti specifici al loro interno.

Dall’analisi congiunta della componente audio e video (analisi multimodale) è possibile individuare e separare le diverse scene e condurre analisi mirate.

In generale gli strumenti di multimedia mining tendono a colmare il cosiddetto semantic gap, ovvero il divario che caratterizza le informazioni estratte automaticamente da un contenuto digitale (dette low level features) ed il valore semantico da esse rappresentato.

L’esperienza maturata al momento dal Cineca riguarda l’analisi di broadcast per l’estrazione di entità e concetti specifici per un certo dominio e trasferibili ad un diverso dominio (progetto Papyrus).