Concedido el proyecto nacional BeMuSSE para la evaluación sistemática de sistemas multiagente basados en LLM

¡Nos alegra enormemente anunciar que nos han concedido el proyecto nacional BeMuSSE (Systematic Benchmarking of LLM-based Multi-Agent Systems for Software Engineering)! Este nuevo proyecto, financiado dentro de la Convocatoria de Proyectos de Generación de Conocimiento 2024 por el Ministerio de Ciencia, Innovación y Universidades y la Agencia Estatal de Investigación, y cofinanciado por la Unión Europea, estará liderado por nuestros investigadores Roberto Rodríguez Echeverría y José María Conejero Manzano. Con BeMuSSE, nos proponemos establecer el marco de evaluación definitivo para la próxima generación de desarrollo de software impulsado por IA.

Hacia una evaluación rigurosa y transparente de los sistemas multiagente

En los últimos años, la ingeniería de software está experimentando una profunda transformación. Estamos pasando de asistentes de AI enfocados en tareas individuales al despliegue de sistemas multiagente basados en modelos de lenguaje (LMA), capaces de ejecutar flujos completos en el ciclo de vida del desarrollo de software (SDLC), desde la codificación hasta las pruebas y el refactorizado. Sin embargo, la evaluación de estos sistemas complejos enfrenta actualmente una grave crisis, ya que combinan un motor de decisión LLM, capas de coordinación y herramientas externas. Las métricas existentes suelen basarse en porcentajes de éxito simplistas y en benchmarks opacos o poco estandarizados, dejando de lado aspectos fundamentales como la robustez, la seguridad, los costes y la ética.

Para resolver este problema, la hipótesis fundamental de BeMuSSE es aplicar de manera metódica el cuerpo de conocimiento consolidado de la ingeniería de software a los procesos de desarrollo automatizados por AI, incluyendo estándares como ISO/IEC 25010, ISO/IEC 12207 o directrices de OWASP. De este modo, BeMuSSE propone un marco conceptual multidimensional que evalúa cuatro pilares clave:

• Precisión funcional: Garantizando que el código generado cumpla con los requisitos, contemple casos límite y se integre sin fallos.
• Orquestación y proceso: Evaluando las trazas de decisión, la transparencia y la eficiencia colaborativa entre agentes y equipos híbridos humano-agente.
• Aspectos no funcionales: Analizando vulnerabilidades de seguridad, sostenibilidad, costes y robustez del sistema.
• Ética y cumplimiento: Verificando el cumplimiento de regulaciones, normativas organizativas y la mitigación de sesgos introducidos por la AI.

El mecanismo central será el modelado conceptual de los sistemas multiagente. A partir de un dominio de conocimiento, se abstraerán entidades y sus relaciones, y se creará un lenguaje específico de dominio para la evaluación de LMA.

A lo largo de sus tres años de duración, el proyecto pasará de una fase inicial de investigación aplicada a una herramienta prototipo validada en entornos relevantes. La metodología del proyecto combina el marco de gestión PM² de la Comisión Europea con prácticas ágiles organizadas en seis paquetes de trabajo.

Entre los entregables principales destacan la creación de herramientas de código abierto, una tabla clasificatoria (leaderboard) pública de evaluación de sistemas LMA y la publicación de guías éticas para su adopción responsable en la industria.

BeMuSSE no es un mero proyecto académico. En esta era digital, cada vez más cambiante, es necesario evaluar, verificar y rastrear los LMA, cuya complejidad no para de crecer a pasos agigantados. Asegurar que el software generado por estos sistemas sea preciso, transparente y ético es el reto que BeMuSSE se propone afrontar, y estamos emocionados de liderar este esfuerzo pionero.

¿Te interesa investigar con nosotros sobre calidad de software e inteligencia artificial generativa o colaborar en el proyecto BeMuSSE? ¡Ven a conocernos y hablemos!