Título: Análisis semántico de performance para auto-formalizaciones generadas por LLMs
Director: Víctor Braberman
Co-directora: Flavia Bonomo
Jurados: Sergio Abriola, Sebastián Uchitel

Resumen:
En los últimos años, los LLMs (Large Language Models) han experimentado un enorme crecimiento en popularidad, en parte debido a su versatilidad para abordar una gran variedad de tareas “downstream” sin necesidad de reentrenamiento. Esto se logra con el uso de distintas técnicas de «prompt engineering», que permiten condicionar las respuestas del modelo en función de la tarea que se desea resolver. Consecuentemente, se ha iniciado una revolución en términos de desarrollo de un tipo de software (el «promptware») que utiliza LLMs para resolver las más variadas funcionalidades. Sin embargo y a pesar de los constantes avances, desarrollar software basado en interactuar con LLMs carece de teoría y métodos que soporten enfoques disciplinados. De hecho, un área con carencias significativas es la evaluación (y mejora) de performance de un LLM para una tarea dada. Muchas veces no se tiene en cuenta la naturaleza estocástica del proceso generativo subyacente y la competencia de formas superficiales en las que se pueden presentar los resultados a una pregunta.
En este trabajo analizamos la distribución de las respuestas generadas por LLMs en función de su contenido semántico. Estudiamos  la performance de una tarea desde la perspectiva de la propiedades de la distribución “clusterizada” resultante, el vínculo con los resultados esperados y los tipos de errores de alineamiento. Usamos esas observaciones para ejemplificar mecanismos más disciplinados de mejoras basadas en la descomposición de tareas.
Nos centramos en la tarea de auto-formalización, que consiste en generar una representación formal de una descripción en lenguaje natural. En particular, el problema a analizar será el de generar especificaciones de programas a partir de su documentación.