Un modello matematico per valutare le prestazioni dei sistemi di Intelligenza Artificiale che conversano con gli esseri umani

Ad un articolo a firma, tra gli altri, di Nicola Tonellotto il Best Paper Award Honorable Mention a SIGIR 2023

Un nuovo metodo per valutare  e prevedere l’efficacia di sistemi di Intelligenza Artificiale, come gli assistenti vocali, nel portare avanti una conversazione che soddisfi le aspettative dell’utente.

Questo il focus dell’articolo  (https://www.dei.unipd.it/~ferro/papers/2023/SIGIR2023-FFMPT.pdf) premiato con  l’”ACM SIGIR 2023 Best Paper Award Honorable Mention” alla recente conferenza SIGIR (Conference on Research and Development in Information Retrieval” https://sigir.org/sigir2023/), svoltasi a Taiwan, che riunisce annualmente i maggiori esperti sia accademici che industriali di reperimento delle informazioni, la scienza alla base dei motori di ricerca.

Il lavoro ha visto la collaborazione tra il Dipartimento di Ingegneria dell’Informazione dell’Università di Pisa, Università di Padova e CNR.

“I motori di ricerca - spiega Nicola Tonellotto, docente di ingegneria informatica al Dipartimento di Ingegneria dell’Informazione e coautore dell’articolo - si stanno evolvendo dal semplice scenario “domanda-risposte multiple” (i famosi 10 link blu) a uno scenario “conversazionale”, dove l’interazione è composta da molteplici scambi di domande e risposte. Un tipico esempio consiste nell’interazione tra umani e assistenti digitali, la cui implementazione si basa sovente su reti neurali “profonde”.
Nell’articolo è proposto un nuovo strumento per predire il successo di un assistente digitale nel rispondere alla prossima domanda in una conversazione, o per modificarne al volo il comportamento di un assistente digitale nel recuperare le informazioni per migliorare la qualità delle risposte elaborate.Il nostro modello matematico stima la “distanza semantica” tra una domanda e una risposta, e quindi valuta il sistema che risponde meglio alle richieste degli utenti”.

Il lavoro sull'interazione tra esseri umani e intelligenza artificiale è parte delle attività del Forelab, il laboratorio del Dipartimento che conduce ricerca all'avanguardia sulle tecnologie per il nuovo paradigma di società e industria 5.0