BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//Departamento de Computación - ECPv6.17.4.1//NONSGML v1.0//EN
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALNAME:Departamento de Computación
X-ORIGINAL-URL:https://www.dc.uba.ar
X-WR-CALDESC:Eventos para Departamento de Computación
REFRESH-INTERVAL;VALUE=DURATION:PT1H
X-Robots-Tag:noindex
X-PUBLISHED-TTL:PT1H
BEGIN:VTIMEZONE
TZID:America/Sao_Paulo
BEGIN:STANDARD
TZOFFSETFROM:-0300
TZOFFSETTO:-0300
TZNAME:-03
DTSTART:20250101T000000
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
DTSTART;TZID=America/Sao_Paulo:20261028T110000
DTEND;TZID=America/Sao_Paulo:20261028T120000
DTSTAMP:20261021T145736Z
CREATED:20261021T145736Z
LAST-MODIFIED:20261021T145736Z
UID:10974-1793185200-1793188800@www.dc.uba.ar
SUMMARY:Defensa Tesis Licenciatura Andrés Salgado
DESCRIPTION:Título: Desplazamiento semántico en Evaluation Awareness.\nDirectores: Dr. Esteban Feuerstein y Dr. Daniel Yankelevich\nJurados: Dr. Iván Arcuschin\, Dr. Leandro Lombardi \nResumen:\nEl creciente uso de los grandes modelos de lenguaje (LLMs) hace indispensable evaluar su comportamiento de forma confiable\, y las pruebas y benchmarks son la herramienta central para ello. Sin embargo\, estas evaluaciones presuponen que el modelo se comporta igual al ser evaluado que en uso real\, algo que pone en duda el fenómeno de evaluation awareness\, es decir\, la capacidad de un modelo de reconocer que está siendo evaluado y de modificar su comportamiento en consecuencia. En modelos de pesos cerrados\, las metodologías existentes se centran en detectar si el modelo verbaliza estar siendo evaluado\, lo que deja afuera los cambios de comportamiento que no se verbalizan\, y dicen poco sobre qué aspectos del prompt los provocan. El objetivo de esta tesis es estudiar cómo las dimensiones del prompt potencialmente asociadas a evaluation awareness modifican el comportamiento observable de un modelo\, a partir exclusivamente de las respuestas generadas. Sobre un dataset factorial de 4320 prompts\, que varía cinco dimensiones (coherencia de contexto\, estructura del prompt\, idioma\, familiaridad de entidad y conflicto ético) en seis escenarios\, se evalúan dos modelos\, GPT-4o-mini y GPT-4.1-mini. Las respuestas se representan mediante embeddings\, una práctica establecida para comparar texto a partir de su significado\, se explora la estructura de su espacio y se define sobre él una métrica de desplazamiento semántico que cuantifica cuánto cambia la respuesta al modificar una única dimensión del prompt. Encontramos que el efecto es heterogéneo según el escenario y que ninguna dimensión domina en todos. El conflicto ético\, en particular el conflicto de rol\, fue el hallazgo más consistente\, y su presencia amplifica la influencia de las demás dimensiones. La estructura del prompt actúa como un modulador de fondo presente en todos los escenarios\, lo que sugiere que el formato de una solicitud puede condicionar el comportamiento del modelo independientemente de su contenido. Estas dos dimensiones fueron las más recurrentes\, pero la familiaridad de entidad y la coherencia de contexto también aparecen entre los casos de mayor desplazamiento. En ellos\, la diferencia suele ser un cambio en la decisión del modelo\, como pasar de rechazar a cumplir la solicitud. Esto motivó validar la métrica contra un juez de comportamiento (LLM-as-a-judge)\, con una correlación moderada-alta (ρ = 0\,66). En conjunto\, este trabajo aporta una herramienta práctica\, que no requiere acceso a los pesos del modelo\, para identificar qué dimensiones del prompt modifican el comportamiento observable de un modelo\, aportando evidencia relevante para el estudio de evaluation awareness.
URL:https://www.dc.uba.ar/event/defensa-tesis-licenciatura-andres-salgado/
LOCATION:Sala 1606
CATEGORIES:Agenda
END:VEVENT
END:VCALENDAR