No More Training: SAM's Zero-Shot Transfer Capabilities for Cost-Efficient Medical Image Segmentation

Resumen

La segmentación semántica de imágenes médicas presenta un enorme potencial para el diagnóstico y la cirugía. Sin embargo, conseguir resultados precisos implica diseñar y entrenar complejos modelos de Deep Learning (DL) específicos para esta tarea, algo que solo está al alcance de algunos. Segment Anything Model (SAM) es un modelo desarrollado por Meta capaz de segmentar objetos presentes en prácticamente cualquier tipo de imagen. Este trabajo muestra la robustez y el excepcional rendimiento de SAM en la segmentación de imágenes médicas, incluso en ausencia de entrenamiento directo en este tipo de imágenes (tomografías computarizadas (TC) de pulmón y radiografías de tórax, en particular). Además, consigue estos impresionantes resultados con una intervención mínima del usuario. Aunque el conjunto de datos utilizado para entrenar SAM no contiene una sola muestra de ambos tipos de imágenes médicas, el procesamiento de un popular conjunto de datos compuesto por 20 volúmenes con un total de 3520 cortes utilizando la versión ViTL del modelo arroja un índice Jaccard medio del 91,45 % y una puntuación Dice media del 94,95 %. La misma versión del modelo alcanza una puntuación Dice del 93,19 % y un índice Jaccard del 87,45 % al segmentar un conjunto de datos de radiografías de tórax de uso frecuente. Los valores obtenidos están por encima de la marca del 70 % recomendada en la bibliografía y cerca de los modelos más avanzados desarrollados específicamente para la segmentación médica. Estos resultados se consiguen sin interacción del usuario proporcionando al modelo indicaciones positivas basadas en las máscaras del conjunto de datos utilizado y una indicación negativa situada en el centro del cuadro delimitador que contiene las máscaras.