可以通过 AVAssetReader 获取视频文件里媒体样本,可以直接从存储器中读取未解码的原始媒体样本,获得解码成可渲染形式的样本。 文档里说明 AVAssetrader 管道内部是多线程的。初始化之后,读取器在使用前加载并处理合理数量的样本数据,以 copyNextSampleBuffer ( AVAssetReaderOutput )等检索操作的延迟非常低。但 AVAssetReader 还是不适用于实时源,并且它的性能也不能保证用于实时操作。 由于使用前需要加载并处理一些样本据,导致占用的内存可能会比较大,需要注意同一时间使用的 reader 个数不要过多,视频像素越高,占用的内存也会越大。
使用 AVAsset 对 AVAssetReader 进行初始化,前面也说了初始化之后就会加载样本数据,所以这一步就已经会对内存产生印象,如果内存紧张就不要预先初始化。
NSError *createReaderError; _reader = [[AVAssetReader alloc]initWithAsset:_asset error:&createReaderError];
在开始读取之前,需要添加 output 来控制读取初始化使用的 asset 中哪些 track,以及配置如何读取。 AVAssetReaderOutput 还有其他的子类实现,如 AVAssetReaderVideoCompositionOutput,AVAssetReaderAudioMixOutput 和 AVAssetReaderSampleReferenceOutput 。 这里使用 AVAssetReaderTrackOutput 演示。需要一个 track 来初始化,track 从 asset 中获取。
NSArray tracks = [_asset tracksWithMediaType:AVMediaTypeAudio]; if (tracks.count > 0) { AVAssetTrack audioTrack = [tracks objectAtIndex:0]; }
或者
NSArray tracks = [_asset tracksWithMediaType:AVMediaTypeVideo]; if (tracks.count > 0) { AVAssetTrack videoTrack = [tracks objectAtIndex:0]; }
还可以对输出的格式进行配置,更多配置可以查阅文档。
NSDictionary * const VideoAssetTrackReaderOutputOptiOns= @{(id) kCVPixelBufferOpenGLESCompatibilityKey : @(YES), (id) kCVPixelBufferIOSurfacePropertiesKey : [NSDictionary dictionary], (NSString*)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_32BGRA)}; _readerOutput = [AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:_track outputSettings:VideoAssetTrackReaderOutputOptions]; if ([_reader canAddOutput:_readerOutput]) { [_reader addOutput:_readerOutput]; }
AVAssetReader 并不适合频繁随机读取的操作,如果需要频繁 seek 可能需要别的方式实现。 在开始读取之前,可以对读取的范围进行设置,当开始读取后不可以修改,只能顺序向后读。 有两种方案来调整读取范围:
_reader.timeRange = range; [_reader startReading]; _sampleBuffer = [_readerOutput copyNextSampleBuffer];
CMSampleBuffer 中提供了方法获取解码数据,比如获取图像信息可以使用
CVImageBufferRef pixelBuffer =
CMSampleBufferGetImageBuffer(_sampleBuffer);
需要注意,当 CMSampleBuffer 使用完毕,需要调用 release 来释放
CFRelease(_sampleBuffer);
NSDictionary * const AssetOptiOns= @{AVURLAssetPreferPreciseDurationAndTimingKey:@YES}; NSDictionary * const VideoAssetTrackReaderOutputOptiOns= @{(id) kCVPixelBufferOpenGLESCompatibilityKey : @(YES), (id) kCVPixelBufferIOSurfacePropertiesKey : [NSDictionary dictionary], (NSString*)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_32BGRA)}; _videoAsset = [[AVURLAsset alloc] initWithURL:[NSURL fileURLWithPath: filePath] options:AssetOptions]; _videoTrack = [[mPrivate->mVideoAsset tracksWithMediaType:AVMediaTypeVideo] firstObject]; if (_videoTrack) { NSError *createReaderError; _reader = [[AVAssetReader alloc] initWithAsset:_videoAsset error:&createReaderError]; if (!createReaderError) { _readerOutput = [AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:mPrivate->_videoTrack outputSettings:VideoAssetTrackReaderOutputOptions]; _readerOutput.supportsRandomAccess = YES; if ([_reader canAddOutput:_readerOutput]) { [_reader addOutput:_readerOutput]; } [_reader startReading]; if (_reader.status == AVAssetReaderStatusReading || _reader.status == AVAssetReaderStatusCompleted) { CMSampleBufferRef samplebuffer = [_readerOutput copyNextSampleBuffer]; if (samplebuffer) { //绘制 samepleBuffer 中的画面 CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(samplebuffer); CVPixelBufferLockBaseAddress(imageBuffer, 0); uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer); size_t width = CVPixelBufferGetWidth(imageBuffer); size_t height = CVPixelBufferGetHeight(imageBuffer); size_t bytesPerRow = CVPixelBufferGetBytesPerRowOfPlane(imageBuffer, 0); size_t bufferSize = CVPixelBufferGetDataSize(imageBuffer); CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB(); CGDataProviderRef provider = CGDataProviderCreateWithData(NULL, baseAddress, bufferSize, NULL); CGImageRef cgImage = CGImageCreate(width, height, 8, 32, bytesPerRow, rgbColorSpace, kCGImageAlphaNoneSkipFirst | kCGBitmapByteOrderDefault, provider, NULL, true, kCGRenderingIntentDefault); CGImageRelease(cgImage); CVPixelBufferUnlockBaseAddress(imageBuffer, 0); CFRelease(samplebuffer); } } } }