Análisis ROC

En este campo los resultados más completos suelen especificarse mediante curvas ROC (Receiver Operating Characteristic), específicamente midiendo el área encerrada bajo esta curva. Para un clasificador binario dado una curva ROC representa la Sensitividad frente a (1 – Especificidad). Una segunda forma de construir una curva ROC consiste en representar la fracción de “True Positives” (TP, aciertos) frente a la fracción de “False Positives” (FP, falso positivo).

Esta técnica se puede aplicar tanto a expertos humanos como a clasificadores informáticos (con algunos reparos, suelen usarse curvas FROC) y permite evaluar los resultados de un diagnóstico. Las primeras aplicaciones provienen de la segunda guerra mundial donde se aplicó a la evaluación de las capacidades de detección de los operadores de radar en entornos ruidosos de elementos hostiles.

Como se ha especificado, esta técnica utiliza el recuento de TPs y FPs; no existe un criterio uniforme sobre lo que se considera un TP o un FP a la hora de diagnosticar un mamograma. Hay criterios más relajados en los que consideran que una ROI generada es TP si el mamograma efectivamente tiene una ROI positiva y otros más restrictivos exigen solapamiento entre la ROI generada y la existente para catalogar ésta como TP.

Debido a la utilización de una arquitectura de generación automatizada, generalmente no se tiene control sobre la forma de crecimiento de las regiones de interés, por lo que en determinadas situaciones una ROI puede crecer de manera excesiva lo que haría que prácticamente siempre incluyese la ROI marcada por el experto y sería considerada un TP lo mismo ocurriría en el caso de obtener un FP agravándose la situación en este caso dado que el mamograma sólo tendría un FP enmascarando el pernicioso efecto de crecimiento desmedido. Para dar cuenta de este efecto hemos decidido utilizar en vez de el número de falsos positivos, un nuevo parámetro que denominamos Falso Positivo Ponderado por imagen (WFPi).

Este parámetro da cuenta tanto del efecto de crecimiento de un posible FP como del posible crecimiento de un TP. De forma que si una ROI diagnosticada como FP presenta un área superior a un área especificada (establecida como el área de la mayor ROI marcada dentro del subconjunto BCRP_CALC en DDSM) contribuirá a este parámetro tantas veces como exceda este valor mas uno. Análogamente un TP excesivamente grande contribuirá con el exceso de área a este parámetro, de forma que WFPi se incrementará tantas veces como supere el área máxima especificada para una ROI. Matemáticamente podríamos expresarlo como:

Resumen de resultados

A continuación presentamos algunos resultados relativos al trabajo que hemos realizado hasta el momento, al ser un trabajo en desarrollo estos debe considerarse como resultados provisionales. Así mismo se proporciona un enlace a un subportal en el que proporcionamos una versión extendida de los resultados para las distintas configuraciones establecidas.

En primer lugar pueden apreciarse los resultados obtenidos para una de las mejores configuraciones probadas.

A continuación para este mismo sistema mostramos una curva ROC para los resultados obtenidos sobre el conjunto de overlays.

 Y finalmente para el conjunto de mamogramas puede apreciarse la curva FROC obtenida.