Título: Aplicación de embeddings de BERT para detección automática de Alzheimer
Cuándo: Lunes 19 de Mayo, 12:30 hs.
Dónde: Aula 1308, Edificio 0+infinito, Ciudad Universitaria, UBA.
Directores: Pablo Brusco, Lara Gauder
Jurados: Viviana Cotik, Gustavo Juantorena

Resumen
La detección temprana del Alzheimer representa un desafío clave en el ámbito médico, ya que un diagnóstico preciso en las primeras etapas de la enfermedad puede facilitar intervenciones más efectivas y mejorar la calidad de vida de los pacientes. En este contexto, el análisis del habla y el lenguaje ha surgido como una herramienta prometedora para identificar patrones lingüísticos asociados con el deterioro cognitivo. En este estudio, investigamos la efectividad de los embeddings generados con BERT para la clasificación de transcripciones de habla, con el propósito de distinguir entre individuos con Alzheimer y controles sanos, en inglés y en español. Además de replicar un trabajo previo, ampliamos el análisis comparando el desempeño de distintas representaciones de los textos, agregando métricas de evaluación y observando el impacto de utilizar modelos entrenados con texto capitalizado (cased) y modelos entrenados únicamente con texto en minúsculas (uncased).

Tanto en inglés como en español, nuestros resultados superaron a los reportados en el trabajo replicado. En inglés, el mejor F1-score obtenido fue de 0.76 con Random Forest, superando el 0.69 reportado en el trabajo original con XGBoost. En español, SVM alcanzó un F1-score de 0.70, mejorando significativamente el 0.53 reportado.

Nuestros experimentos revelaron que el F1-score no es una métrica adecuada para evaluar el desempeño de los clasificadores, especialmente en conjuntos de datos desbalanceados. Por ello, analizamos métricas adicionales como precision, recall, accuracy, specificity, ROC AUC y PR AUC, que permitieron una evaluación más detallada del rendimiento de los clasificadores.

Los hallazgos obtenidos evidencian que las representaciones contextuales derivadas de la última capa de BERT superan a los embeddings extraídos de la primera capa, gracias a su capacidad de capturar información semántica más rica y dependiente del contexto. En el Pitt Corpus (inglés), los embeddings de la última capa lograron un ROC AUC de hasta 0.89, mientras que los embeddings de la primera capa alcanzaron un máximo de 0.84. En Chile AD (español), aunque el rendimiento general fue inferior, los embeddings de la última capa de BERT obtuvieron un ROC AUC de 0.72, superando ampliamente a los embeddings provenientes de la primera capa, cuyo mejor desempeño fue 0.54.

Asimismo, observamos que en español, los modelos cased mejoran el rendimiento de los clasificadores, mientras que en inglés, los modelos uncased resultan más eficaces. En el Pitt Corpus, SVM con embeddings de la última capa logró un ROC AUC de 0.90 con el modelo uncased, mientras que con el modelo cased obtuvo 0.87. En contraste, en Chile AD, el uso de la versión uncased redujo significativamente el desempeño, con una caída en ROC AUC de 0.72 a 0.41 en Random Forest con los embeddings de la primera capa.

Nuestros resultados indican que, en general, el desempeño en inglés fue superior al obtenido en español, lo que podría atribuirse a la menor cantidad de datos disponibles, el desbalance entre las clases en el conjunto en español o a las diferencias entre los modelos de BERT empleados en cada idioma.

Palabras claves: Alzheimer, Embeddings, BERT, Clasificación, Análisis Cruzado entre Lenguajes.