Título: Sistemas de calificación automática de la pronunciación a nivel fonema
Directora: Dra. Luciana Ferrer
Consejero de estudios: Dr. Juan Pablo Galeotti

Jurados:
Dra. Leibny Paola Garcia Perera – – Assistant Research Scientist, Center for Language and Speech Processing, Whiting School of Engineering Johns Hopkins University
Dr. Horacio Franco – – Chief Scientist, Speech Technology and Research Laboratory, SRI, EE.UU
Dr. Cristian Tejedor García – – Prof. Asistente, Radboud University, Países Bajos

Link Youtube: Se compartirá unos días antes de la defensa.

Resumen:

El trabajo doctoral tiene como objetivo el estudio y desarrollo de sistemas de calificación automática de la pronunciación para estudiantes argentinos de inglés como lengua extranjera. Estos sistemas reciben una grabación de voz y asignan puntajes que reflejan la calidad de la pronunciación en distintas dimensiones, incluyendo aspectos segmentales y suprasegmentales como la precisión fonética, el acento léxico y oracional, el ritmo y la entonación.

La tesis se centra en la calificación a nivel segmental, es decir, en estimar la calidad de la pronunciación de cada fonema dentro de una frase. Para ello, en primer lugar se recolectó y anotó un corpus específico de hablantes argentinos de inglés, con alineamientos fonéticos detallados y etiquetas de calidad de pronunciación. La tesis describe el diseño del corpus, el proceso de anotación y los principales patrones de error observados. El corpus se valida comparando estos errores con los reportados en otras bases de habla no nativa de hablantes de español como primera lengua y mediante la comparación de resultados obtenidos con sistemas de referencia en las distintas bases de datos.

A partir de estos datos se implementaron distintos sistemas de calificación de la pronunciación a nivel fonema. Todos los sistemas desarrollados se basan en reconocedores automáticos del habla (RAH), que se utilizan tanto para extraer características útiles como para obtener alineamientos que permiten localizar temporalmente los fonemas objetivo en la frase. Como sistema de referencia se empleó el algoritmo de Goodness of Pronunciation (GOP), que calcula un puntaje para cada fonema a partir de las probabilidades a posteriori generadas por el modelo acústico del RAH entrenado con habla nativa, midiendo qué tan compatible es el segmento observado con el fonema objetivo. Luego se exploraron métodos de transferencia de aprendizaje. En estos métodos se reutilizaron modelos acústicos entrenados previamente para RAH y se ajustaron sus últimas capas para la tarea de calificación de la pronunciación, es decir, para producir directamente la probabilidad de pronunciación incorrecta para cada fono target. En una etapa posterior, se incorporaron modelos de habla auto supervisados, usando sus representaciones como entrada a clasificadores de correctitud de la pronunciación. Estos enfoques se compararon con variantes que imitan la estructura de GOP, en las que primero se entrena un reconocedor de fonemas y luego se calculan puntajes de pronunciación a partir de sus salidas.

Finalmente, se abordó el problema de la escasez de anotaciones segmentales mediante esquemas de aprendizaje con pocas etiquetas y supervisión débil. Se desarrollaron métodos para entrenar modelos para producir predicciones a nivel fonema usando datos etiquetados solamente con calidad de pronunciación a nivel oración más, opcionalmente, una pequeña cantidad de datos etiquetados a nivel fonema. En este contexto se evaluaron estrategias de selección de ejemplos y pseudo etiquetado para reducir la necesidad de anotación manual a nivel fonema.

La evaluación de los sistemas se centró no solo en métricas estándar en la literatura de calificación de la pronunciación, como Precisión o F-score, sino también en el costo esperado, el cual permite penalizar los errores de manera que la métrica refleje las necesidades específicas de la tarea. En particular, se utilizó una función de costo diseñada para penalizar las correcciones innecesarias, con el objetivo de ajustar los umbrales de decisión a escenarios educativos reales en los que es crucial evitar frustrar al estudiante.