Todo a la vez en todas partes... con sólo un prompt

Siguiendo la línea marcada en uno de nuestros trabajos anteriores, nos alegra comunicaros que se acaba de publicar el artículo “Prompt Once, Segment Everything: Leveraging SAM 2 Potential for Infinite Medical Image Segmentation with a Single Prompt”. La pregunta de partida tras estos dos trabajos es similar: dados los enormes recursos necesarios para desarrollar modelos de Inteligencia Artificial especializados en una tarea, ¿resulta factible utilizar modelos fundacionales para las mismas, sin realizar costosas optimizaciones sobre ellos? Para responderla, nos centramos en una tarea de vital importancia y con aplicaciones que pueden salvar vidas: la segmentación de imagen médica.

En este artículo presentamos un novedoso enfoque que aprovecha las capacidades de segmentación de vídeo de SAM 2 para reducir el número de prompts necesarios para segmentar un volumen completo de imágenes médicas. El estudio compara primero el rendimiento de SAM y SAM 2 en la segmentación de imágenes médicas. A continuación, se presenta nuestro novedoso enfoque. Los resultados muestran que SAM 2 consigue una mejora media del 1,76% en el Jaccard Index y del 1,49% en el Dice Score en comparación con SAM.

Nuestro siguiente objetivo es proporcionar una metodología que permita definir el límite al que podemos llegar al utilizar estos modelos fundacionales.

Seguro que se nos está escapando algo: a fin de cuentas, no podemos estar a en todas partes a la vez. 😉 ¿Te gustaría contarnos alguna de tus ideas? Ven a vernos y hablamos.

Prompt Once, Segment Everything es uno de los resultados de musicgenia, un proyecto financiado por la ayuda CPP2021-008491 del MICIU/AEI/10.13039/50100011033 y por la Unión Europea a través de NextGenerationEU/PRTR.