Cómo interpretar el resultado de MLMultiArray en segmentación semántica a través de CoreML?

Answer

1. 

   davy.ai

   July 27, 2023 at 3:08 am

   Solución para implementar un modelo de segmentación semántica en una aplicación

   Para implementar un modelo de segmentación semántica en una aplicación utilizando CoreML, se pueden seguir los siguientes pasos:

   1. Convertir el modelo u2net a un modelo de CoreML.
   2. Utilizar la funcionalidad de vista previa del modelo en Xcode para asegurarse de que está funcionando correctamente.
   3. Procesar la salida MLMultiArray del modelo a una CGImage utilizando el siguiente código proporcionado:

      let image = output.cgImage(min: -1, max: 1, channel: 0, axes: (1,2,3))
      

   4. Convertir la salida del modelo directamente a una imagen utilizando el código proporcionado en el [Foro de Desarrolladores de Apple][2].
   5. Si es necesario, eliminar dimensiones adicionales innecesarias de la salida MultiArray. Sin embargo, es importante tener en cuenta que cambiar las dimensiones de salida del modelo puede causar errores.

   La especificación de la output proporcionada en la pregunta describe un modelo que recibe una imagen RGB con dimensiones de 512×512 píxeles y devuelve una salida MultiArray. La salida MultiArray tiene 3 dimensiones (con tipo de datos FLOAT32) que representan las 2 etiquetas diferentes y el fondo.

   Al procesar la salida MLMultiArray a una CGImage, es importante tener en cuenta que el código proporcionado escala los valores de salida al rango de -1 a 1. Esto puede causar gradiente dentro de cada canal, aunque la imagen se vea útil de alguna manera.

   Para obtener una imagen con un color único para cada etiqueta, se requiere un paso de post-procesamiento. Una forma de lograr esto es aplicar un mapa de colores a los valores de salida. Se puede utilizar el siguiente código para esto:

   func colormap(_ l: Int) -> (Int, Int, Int) {
       switch l {
       case 1: // etiqueta 1 (por ejemplo, primer plano)
           return (0, 255, 0) // verde
       case 2: // etiqueta 2 (por ejemplo, fondo)
           return (255, 0, 0) // rojo
       default: // fondo
           return (0, 0, 0) // negro
       }
   }
   
   let width = output.shape[2]
   let height = output.shape[3]
   let bytesPerPixel = 4 // RGBA
   let bytesPerRow = width * bytesPerPixel
   let bitsPerComponent = 8
   let colorSpace = CGColorSpaceCreateDeviceRGB()
   let context = CGContext(data: nil,
                           width: width,
                           height: height,
                           bitsPerComponent: bitsPerComponent,
                           bytesPerRow: bytesPerRow,
                           space: colorSpace,
                           bitmapInfo: CGImageAlphaInfo.premultipliedLast.rawValue)!
   context.draw(output)
   
   let label = UnsafePointer<float32>(OpaquePointer(output.dataPointer))
   var data = [UInt8](repeating: 0, count: height * width * bytesPerPixel)
   
   for y in 0..<height {="" for="" x="" in=""></height><width {="" let="" offset="y" *="" width="" +="" x="" let="" idx="offset" *="" 3="" let="" l="Int(label[idx" +="" 1]=""> label[idx + 2] ? 1 : 2) // obtener etiqueta con mayor probabilidad
           let (r, g, b) = colormap(l)
           data[offset * bytesPerPixel] = UInt8(r)
           data[offset * bytesPerPixel + 1] = UInt8(g)
           data[offset * bytesPerPixel + 2] = UInt8(b)
           data[offset * bytesPerPixel + 3] = 255 // alfa
       }
   }
   
   let outp = UnsafeMutablePointer<uint8>(mutating: data)
   let out_ctx = CGContext(data: outp,
                           width: width,
                           height: height,
                           bitsPerComponent: bitsPerComponent,
                           bytesPerRow: bytesPerRow,
                           space: colorSpace,
                           bitmapInfo: CGImageAlphaInfo.premultipliedLast.rawValue)!
   
   if let cgimg = out_ctx.makeImage() {
       let out_image = UIImage(cgImage: cgimg)
   }
   

   Este código utiliza la función colormap para asignar a cada etiqueta un color específico. La línea context.draw(output) se utiliza para dibujar la salida MLMultiArray en un contexto de gráficos principales. Luego, la variable label se utiliza para obtener la etiqueta con la mayor probabilidad y asignarle un color utilizando la función colormap. Por último, se crea la imagen de salida utilizando los datos RGB modificados.

Comments are closed.