Cómo tomar un video con formato YUV de la cámara, visualizarlo y procesarlo

Question

Estoy escribiendo un programa para iphone (IOS 4) que captura video en vivo de la cámara y lo procesa en tiempo real.

Prefiero capturar en formato kCVPixelFormatType_420YpCbCr8BiPlanarFullRange para facilitar el procesamiento (necesito procesar el canal Y). ¿Cómo visualizo los datos en este formato? ¿Supongo que necesito convertirlo de alguna manera en un UIImage y luego ponerlo en algún ImageView?

Actualmente tengo un código que muestra datos de kCVPixelFormatType_32BGRA, pero, por supuesto, no funciona con kCVPixelFormatType_420YpCbCr8BiPlanarFullRange.

Este es el código que uso ahora para la transformación, cualquier ayuda/muestra sobre cómo hacer lo mismo para kCVPixelFormatType_420YpCbCr8BiPlanarFullRange será apreciado. (También crítica de mi método actual).

// Create a UIImage from sample buffer data 
- (UIImage *) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer 
{ 
    // Get a CMSampleBuffer's Core Video image buffer for the media data 
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); 
    // Lock the base address of the pixel buffer 
    CVPixelBufferLockBaseAddress(imageBuffer, 0); 

    // Get the number of bytes per row for the pixel buffer 
    void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer); 

    // Get the number of bytes per row for the pixel buffer 
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); 
    // Get the pixel buffer width and height 
    size_t width = CVPixelBufferGetWidth(imageBuffer); 
    size_t height = CVPixelBufferGetHeight(imageBuffer); 

    // Create a device-dependent RGB color space 
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); 

    // Create a bitmap graphics context with the sample buffer data 
    CGContextRef context = CGBitmapContextCreate(baseAddress, width, height, 8, 
               bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
    // Create a Quartz image from the pixel data in the bitmap graphics context 
    CGImageRef quartzImage = CGBitmapContextCreateImage(context); 

    // Unlock the pixel buffer 
    CVPixelBufferUnlockBaseAddress(imageBuffer,0); 

    // Free up the context and color space 
    CGContextRelease(context); 
    CGColorSpaceRelease(colorSpace); 

    // Create an image object from the Quartz image 
    UIImage *image = [UIImage imageWithCGImage:quartzImage]; 

    // Release the Quartz image 
    CGImageRelease(quartzImage); 

    return (image); 
} 

Answer 1

Respondiendo a mi propia pregunta. esto solucionó el problema que tuve (que era tomar la salida YUV, mostrarlo y procesarla), aunque no es exactamente la respuesta a la pregunta: ¿

para agarrar salida YUV por la cámara:

AVCaptureVideoDataOutput *videoOut = [[AVCaptureVideoDataOutput alloc] init]; 
[videoOut setAlwaysDiscardsLateVideoFrames:YES]; 
[videoOut setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]]; 

Para mostrarlo tal como está, use AVCaptureVideoPreviewLayer, no requiere mucho código. (Puede ver la muestra FindMyiCon en el paquete de muestras de WWDC, por ejemplo).

para procesar la YUV y canal (bi-cepilladora en este caso, lo que es todo en un solo trozo, también se puede utilizar establecimiento de memoria en lugar de bucle):

- (void)processPixelBuffer: (CVImageBufferRef)pixelBuffer { 

    CVPixelBufferLockBaseAddress(pixelBuffer, 0); 

    int bufferHeight = CVPixelBufferGetHeight(pixelBuffer); 
    int bufferWidth = CVPixelBufferGetWidth(pixelBuffer); 

    // allocate space for ychannel, reallocating as needed. 
    if (bufferWidth != y_channel.width || bufferHeight != y_channel.height) 
    { 
     if (y_channel.data) free(y_channel.data); 
     y_channel.width = bufferWidth; 
     y_channel.height = bufferHeight; 
     y_channel.data = malloc(y_channel.width * y_channel.height);   
    } 

    uint8_t *yc = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0); 
    int total = bufferWidth * bufferHeight; 
    for(int k=0;k<total;k++) 
    { 
     y_channel.data[k] = yc[k++]; // copy y channel 
    } 

    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0); 
}