Título: Una mirada a la mente de Vincent van Gogh a través de sus pinturas y escritos: Un estudio sobre marcadores mentales multimodales usando NLP y Deep Learning

Directores: Diego Fernández Slezak, Laouen Belloli

Jurados: Enzo Tagliazucchi, Pablo Riera

Resumen: En los últimos años, nuevas herramientas computacionales han sido aplicadas a la psiquiatría tradicional, dando a luz a un novedoso campo llamado psiquiatría computacional. En esta nueva área se han empleado variadas técnicas de Natural Language Processing (NLP), obteniendo resultados extraordinarios en la identificación de alteraciones en el discurso causadas por desórdenes mentales o por el consumo de sustancias. En este proyecto, exploramos cómo pueden extrapolarse los marcadores encontrados en el discurso a lenguajes visuales más abstractos, como lo son las pinturas y dibujos. Como una prueba de concepto, nos enfocamos en encontrar marcadores mentales en las obras de arte de Vincent van Gogh utilizando Redes Neuronales Convolucionales. En un primer experimento, utilizamos representaciones de word embeddings y aplicamos diferentes técnicas de Machine Learning (ML) como clustering para procesar sus cartas y extraer marcadores semánticos, obteniendo un ground truth con el cual etiquetar sus obras de arte. Luego, finetuneamos parte de las capas convolucionales de la red VGG16 y le agregamos nuevas capas fully-conected a la salida para predecir los marcadores previamente obtenidos. En un segundo experimento, entrenamos la misma arquitectura para predecir los brotes psicóticos conocidos de Van Gogh en sus últimos 2 años de vida a partir de sus obras. La performance del modelo fue en el primer experimento mejor que el azar, indicando la existencia de marcadores mentales en sus pinturas. Este trabajo es una primera prueba de concepto que muestra la posibilidad de utilizar dibujos libres para diagnósticos psiquiátricos, ya que demuestra la existencia de información compartida entre marcadores de lenguajes visuales y escritos. Más aún, dichos marcadores visuales tienen información clínica relevante, permitiendo abrir las puertas al desarrollo de experimentos más concretos con pacientes actuales que extrapolen marcadores mentales del discurso a dibujos o pinturas para el diagnóstico y estudio de diversos desórdenes mentales.