En CloudSEN12+ hemos mejorado la etiquetado manual de las imágenes. CloudSEN12+ emplea un enfoque de doble puntuación para detectar posibles errores humanos en la segmentación semántica.

Inicialmente, calculamos el índice de confiabilidad (TI), que compara la predicción de la máscara de nubes de un modelo de referencia con las correspondientes anotaciones humanas utilizadas como verdad fundamental. Hemos seleccionado el CloudSEN12 UnetMobV2 como el mejor modelo de referencia disponible. El TI se calcula utilizando el puntaje F2 de clases múltiples, adoptando una estrategia macro one-vs-all.

Resumen de alto nivel de nuestro flujo de trabajo para detectar errores humanos. La precisión de la predicción (TI) y la dificultad de la muestra (HI) se utilizan para identificar errores en los subconjuntos de alta calidad y scribble.

Los errores de anotación son más susceptibles en escenarios desafiantes, como los límites de clase, formas de nubes intrincadas o información contextual insuficiente. Para abordar esto, incorporamos un Índice de Dificultad (HI) que considera la dificultad percibida por los anotadores durante el proceso de anotación. Para construir este índice, se entrena un modelo ResNet-10 con las imágenes S2 como entrada y la dificultad percibida por los anotadores como objetivo, que se incluye en los metadatos del conjunto de datos CloudSEN12. Este modelo tiene en cuenta de manera efectiva la complejidad de la tarea de anotación y ayuda a identificar áreas donde es más probable que ocurran errores.

Alrededor del 5% de las imágenes se seleccionan para su re-anotación en base a los puntajes TI y HI. Las siguientes figuras ilustran ejemplos de etiquetado humano antes y después del proceso de revisión.

Corrección de etiquetas en el subconjunto de alta calidad. Las imágenes provienen de las ROI: 10133, 720 y 1953.

Corrección de etiquetas en el subconjunto scribble. Estas imágenes provienen de las ROI 1909, 3472 y 3474. Las diferentes tonalidades de amarillo, verde y rojo representan los bordes (más oscuros) y el centro (más claro) de las anotaciones.