Towards Data Science, un medio especializado en ciencia de datos, ha publicado un análisis que compara cuatro métodos para dotar de «memoria» a los asistentes de IA. En una prueba con un historial de unas 40.000 tokens de un gestor de proyectos ficticio y 30 solicitudes, GPT-4o mini logró una tasa de éxito del 58,3 % cuando se le proporcionó el historial completo, frente al 88,9 % del método de búsqueda, que recupera solo los fragmentos necesarios y se los proporciona.
Una cosa es «recordar» y otra, «saber utilizarlo»
El punto de partida del análisis es «DolphinBench», una nueva prueba para medir la capacidad de memoria de la IA. El texto completo está disponibleen este artículo de análisis.
Muchas de las pruebas de memoria tradicionales plantean preguntas directas sobre hechos del pasado, como «¿Cuál es la cafetería favorita de Sam?». Sin embargo, los creadores de DolphinBench señalan que la propia pregunta da una pista: que la respuesta está registrada en algún lugar. Por eso, en esta prueba se le pide a la IA que realice una tarea, como «pide un café», y se comprueba si ha utilizado el dato correcto.
El diseño asigna a tres personajes ficticios historiales de conversación de unos 500.000 tokens cada uno y plantea 200 solicitudes por personaje. Los resultados deben incluir no solo la precisión, sino también el coste y el tiempo.
La prueba fue creada por una empresa que vende un sistema de memoria llamado Mem0. Según la presentación de la empresa, su configuración encabezó la clasificación al completar con éxito el 70,67 % de las solicitudes. El autor del análisis no replicó DolphinBench ni probó el producto de ninguna empresa en particular. Tomó prestada únicamente la idea y diseñó un pequeño experimento propio.
Cuatro métodos de memoria puestos a prueba con Dana, una gestora de proyectos ficticia
La protagonista del experimento es Dana Whitfield, una gestora de proyectos ficticia. Se preparó un historial de 80 conversaciones, correspondiente a un año, y se introdujeron deliberadamente algunos elementos.
Un año de historial y 30 solicitudes
El historial tiene unas 40.000 tokens. En 30 conversaciones se menciona un dato en cada una: el lugar donde suele almorzar, la hora de una reunión, la fecha de publicación de un proyecto o la persona responsable, entre otros. Otras 11 conversaciones modifican posteriormente esos datos, y las 39 restantes son charlas triviales sobre impresoras, trenes o el tiempo. Para que los datos no destacaran, se mezclaron deliberadamente con conversaciones cotidianas.
Hay 30 solicitudes. Cada una implica utilizar una herramienta para programar una reunión, pedir comida, enviar un mensaje o asignar una tarea. Nueve requieren dos datos, como la persona responsable y la fecha. La evaluación no tiene en cuenta el texto de la respuesta: solo comprueba si los valores enviados a la herramienta son correctos. También se preparó una pregunta convencional para cada dato, con el fin de comprobar si la IA podía responder con el valor más reciente.
Los cuatro métodos comparados
Se comparan cuatro métodos: «Sin memoria», que no proporciona ningún dato; «Historial completo», que entrega las 40.000 tokens del historial en cada ocasión; «Resumen», que lee el historial por partes y va reescribiendo un resumen de unas 1.000 palabras; y «Búsqueda», que recupera cinco fragmentos del historial relacionados con la solicitud y los proporciona.
La diferencia es como elegir entre entregar cada mañana el diario de todo un año, dar una chuleta de una página preparada por alguien o extraer solo las páginas relevantes cada vez que se hace una solicitud.
Los modelos utilizados fueron GPT-4o mini, de OpenAI, y Claude Haiku 4.5, de Anthropic. Se realizaron 1.260 ejecuciones en total. El registro de todos los experimentos se conserva en Weights & Biases, una herramienta de gestión de experimentos.
コメント