Multi-modality for All. Tecniche di sottotitolazione e trascrizione automatica in approccio human-centered.

The growing availability of automatically generated (ASR) captions raises the question of whether these systems can be immediately assumed to be helpful in aiding speech processing and content comprehension in L2 speakers of English or whether the presence of errors harms these processes. Previous research has shown that providing graphical cues in the text of captions (e.g., colored words) about the confidence levels of ASR systems can enhance user reliability in automatic transcriptions. Intending to expand the existing literature on the topic, this doctoral thesis reports on the results of three studies. Study 1 examined the habits of university students (L1 Italian, L2 speakers of English) in using audiovisual translation products to aid speech processing and content comprehension when watching audiovisual products in their L2, as well as their views on the use of automatic captions during academic lectures delivered in English. Study 2 assessed the performance of an ASR system by analyzing transcripts from real-world contexts and evaluated the reliability of confidence scores in building a set of graphical (color-coded) features indicating to users the probability of correctness of the words in the automatic captions. Study 3 aimed to assess 1) the effects of ASR-generated captions in an academic setting and 2) the impact of the graphical features in the automatic captions on L2 speakers' content comprehension, as well as the helpfulness of these graphical features. While the different sets of experimental graphical features did not affect overall content comprehension, participants reported that they found the presence of errors in the captions challenging and distracting, thus reducing the utility of having the supporting text.

Il crescente utilizzo delle captions automatiche solleva le questioni 1) dell’affidabilità di questi strumenti nel sostenere i meccanismi di decodifica e la comprensione del linguaggio nei parlanti di inglese L2 e 2) i potenziali effetti degli errori su questi processi. La letteratura esistente ha mostrato come l’utilizzo di features grafiche nel testo delle captions (ad es., parole colorate) che mostrino il grado di sicurezza dei sistemi ASR nella loro trascrizione aumenta il grado di affidabilità nelle trascrizioni automatiche dell'utente. Questa tesi dottorale riporta i risultati di tre studi. Il primo studio ha esaminato le abitudini degli studenti universitari (ITA L1, ENG L2) nell'utilizzo di vari tipi di sottotitoli per favorire la decodifica e la comprensione della L2, nonché le loro opinioni sull'uso delle captions automatiche durante le lezioni accademiche tenute in inglese. Il secondo studio ha valutato le prestazioni di un sistema ASR analizzando trascrizioni provenienti da contesti reali e ha valutato l'affidabilità dei valori di confidence per creare un set di elementi grafici (schemi di colori) che indichino agli utenti la probabilità di correttezza delle parole nelle captions automatiche. Il terzo studio mirava a valutare 1) gli effetti sulla comprensione delle captions automatiche in contesto accademico e 2) l'impatto degli elementi grafici nelle captions automatiche sulla comprensione nei parlanti di inglese L2, nonché l'utilità di tali elementi grafici. Sebbene i diversi tipi di features grafiche sperimentali non abbiano influenzato la comprensione dei contenuti, i partecipanti hanno riferito di aver trovato la presenza di errori nelle captions distraente, riducendo così l'utilità delle captions stesse.