MemSWE
Los sistemas de memoria para agentes suelen compararse con modelos, herramientas y tareas distintos. MemSWE fija el entorno, el modelo, las herramientas y las métricas, y cambia solo la memoria, para que la cadena de evidencia se pueda inspeccionar. Escrito con Eduardo García en el ITESO.
- 360Ejecuciones verificadas en 15 tareas
- 6Condiciones de memoria, cada una aislada y reproducible
- 3.8 s → 23.0 sLatencia, del contexto completo al sistema de memoria más lento
- 0%En las 5 tareas de estrés con verificación oculta. Reportado tal cual.
Tarea
15 tareas de mantenimiento de software
Memoria
6 condiciones, una cambia a la vez
Entorno fijo
Mismo modelo, herramientas y métricas
Verificar
Pruebas visibles y ocultas
Evidencia
Una cadena de resultados inspeccionable
El diseño de MemSWE en una línea. Entre corridas solo cambia la condición de memoria.