本文来自于这位大神，在此基础上我做了一些修改，我发现按照原文作者的做法使用软解的时候会出现卡顿的情况，当然我这边卡顿可能是因为我这边设置或者其他原因导致，不一定是原文作者代码问题。
IJKPlayer是一个很好的视频播放器开源框架，包含iOS端和Android端，虽然好用但是也有一定的局限性需要自己去修改的。比如下面两点：
- 默认视频渲染帧率是按照视频编码帧率渲染的，一般视频25帧，那么视频渲染的时候就是以25帧来渲染的，这个渲染在普通2d视频没问题，但是如果渲染全景视频随着手机的转动，视角移动会出现卡顿，所以需要提升帧率。
- 制作SDK供其他地方使用，比如提供视频帧给Unity3D，或者是其他任意地方渲染画面。
以上两条使用原生的播放器是无法解决的，所以就需要自己做一些处理。
一、添加接口
1、在IJKMediaPlayBack.h添加三个方法
image
- (CVPixelBufferRef)framePixelbuffer;
- (void)framePixelbufferLock;
- (void)framePixelbufferUnlock;
2、在ff_ffplay_def.h 的 FFPlayer 数据结构中添加如下:
image
// 引入头文件
#include <CoreVideo/CoreVideo.h>
CVPixelBufferRef szt_pixelbuffer;
pthread_mutex_t szt_pixelbuffer_mutex;
3、在ijkplayer.h中添加：
image
// 引入头文件
#include <CoreVideo/CoreVideo.h>
CVPixelBufferRef ijkmp_get_pixelbuffer(IjkMediaPlayer *mp);
int ijkmp_pixelbuffer_mutex_init(IjkMediaPlayer *mp);
int ijkmp_pixelbuffer_mutex_lock(IjkMediaPlayer *mp);
int ijkmp_pixelbuffer_mutex_unlock(IjkMediaPlayer *mp);
4、在ijkplayer.c添加:
CVPixelBufferRef ijkmp_get_pixelbuffer(IjkMediaPlayer *mp)
{
return mp->ffplayer->szt_pixelbuffer;
}
int ijkmp_pixelbuffer_mutex_init(IjkMediaPlayer *mp)
{
int ret = ffp_pixelbuffer_mutex_init(mp->ffplayer);
return ret;
}
int ijkmp_pixelbuffer_mutex_lock(IjkMediaPlayer *mp)
{
int ret = ffp_pixelbuffer_lock(mp->ffplayer);
return ret;
}
int ijkmp_pixelbuffer_mutex_unlock(IjkMediaPlayer *mp)
{
int ret = ffp_pixelbuffer_unlock(mp->ffplayer);
return ret;
}
5、在ff_ffplay.h添加:
image
int ffp_pixelbuffer_mutex_init(FFPlayer *ffp);
int ffp_pixelbuffer_lock(FFPlayer *ffp);
int ffp_pixelbuffer_unlock(FFPlayer *ffp);
6、在ff_ffplay.c添加:
int ffp_pixelbuffer_mutex_init(FFPlayer *ffp)
{
int ret = pthread_mutex_init(&ffp->szt_pixelbuffer_mutex, NULL);
return ret;
}
int ffp_pixelbuffer_lock(FFPlayer *ffp)
{
int ret = pthread_mutex_lock(&ffp->szt_pixelbuffer_mutex);
return ret;
}
int ffp_pixelbuffer_unlock(FFPlayer *ffp)
{
int ret = pthread_mutex_unlock(&ffp->szt_pixelbuffer_mutex);
return ret;
}
7、在IJKFFMoviePlayerController.h添加:
image
- (CVPixelBufferRef)framePixelbuffer;
- (void)framePixelbufferLock;
- (void)framePixelbufferUnlock;
8、在IJKFFMoviePlayerController.m添加:
- (CVPixelBufferRef)framePixelbuffer
{
if (_mediaPlayer)
{
return ijkmp_get_pixelbuffer(_mediaPlayer);
}
return NULL;
}
- (void)framePixelbufferLock
{
if (_mediaPlayer)
{
ijkmp_pixelbuffer_mutex_lock(_mediaPlayer);
}
}
- (void)framePixelbufferUnlock
{
if (_mediaPlayer)
{
ijkmp_pixelbuffer_mutex_unlock(_mediaPlayer);
}
}
二、如何使用：
[self.ijkplayer framePixelbufferLock];
CVPixelBufferRef pixelBuffer = [self.ijkplayer framePixelbuffer];
[self.ijkplayer framePixelbufferUnlock];
三、软解设置
1、添加yuvlib库
yuvlib下载地址，原来的库地址找不到了，我就把自己保留的传上去了。
1-1、将yuvlib库引入到项目中
1-2 、头文件引用 IJKMediaPlayer.xcodeproj->IJKMediaFramework(TARGETS ) -> Build Settings->Header Search Paths:
add "$(SRCROOT)/yuvlib/include"
1-3、进入到ff_ffplay.c，引入头文件
#include "libyuv.h"
2、进入到ff_ffplay.c
查找到以下函数
static int decoder_decode_frame(FFPlayer *ffp, Decoder *d, AVFrame *frame, AVSubtitle *sub)
添加代码：
image
ffp_pixelbuffer_lock(ffp);
CVPixelBufferRef cvImage = NULL;
if (ffp->szt_pixelbuffer)
{
cvImage = ffp->szt_pixelbuffer;
}
int ret = createCVPixelBuffer(ffp, ffp->is->video_st->codec, frame, &cvImage);
if (!ret)
{
ffp->szt_pixelbuffer = cvImage;
}
ffp_pixelbuffer_unlock(ffp);
添加以下代码：（这两段代码要放在decoder_decode_frame 方法之前）
static int copyAVFrameToPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, const AVFrame* frame, CVPixelBufferRef cv_img, const size_t* plane_strides, const size_t* plane_rows)
{
int i, j;
size_t plane_count;
int status;
size_t rows;
unsigned long src_stride;
unsigned long dst_stride;
uint8_t *src_addr;
uint8_t *dst_addr;
size_t copy_bytes;
status = CVPixelBufferLockBaseAddress(cv_img, 0);
if (status) {
av_log(
avctx,
AV_LOG_ERROR,
"Error: Could not lock base address of CVPixelBuffer: %d.\n",
status
);
}
uint8* src_y = frame->data[0];
uint8* src_u = frame->data[1];
uint8* src_v = frame->data[2];
void* addr = CVPixelBufferGetBaseAddress(cv_img);
int src_stride_y = frame->linesize[0];
int src_stride_u = frame->linesize[1];
int src_stride_v = frame->linesize[2];
size_t dst_width = CVPixelBufferGetBytesPerRow(cv_img);
int src_width = frame->width;
int src_height = frame->height;
I420ToARGB(src_y, src_stride_y,
src_u, src_stride_u,
src_v, src_stride_v,
addr, dst_width,
src_width, src_height);
status = CVPixelBufferUnlockBaseAddress(cv_img, 0);
if (status) {
av_log(avctx, AV_LOG_ERROR, "Error: Could not unlock CVPixelBuffer base address: %d.\n", status);
return AVERROR_EXTERNAL;
}
return 0;
}
int createCVPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, AVFrame* frame, CVPixelBufferRef* cvImage)
{
size_t widths [AV_NUM_DATA_POINTERS];
size_t heights[AV_NUM_DATA_POINTERS];
size_t strides[AV_NUM_DATA_POINTERS];
int status;
memset(widths, 0, sizeof(widths));
memset(heights, 0, sizeof(heights));
memset(strides, 0, sizeof(strides));
widths[0] = avctx->width;
heights[0] = avctx->height;
strides[0] = frame ? frame->linesize[0] : avctx->width;
widths[1] = (avctx->width + 1)/2;
heights[1] = (avctx->height + 1)/2;
strides[1] = frame? frame->linesize[1] : (avctx ->width + 1)/2;
widths[2] = (avctx->width + 1)/2;
heights[2] = (avctx->height + 1)/2;
strides[2] = frame? frame->linesize[2] : (avctx ->width + 1)/2;
if (!ffp->szt_pixelbuffer)
{
status = CVPixelBufferCreate(
kCFAllocatorDefault,
frame->width,
frame->height,
kCVPixelFormatType_32BGRA,
NULL,
cvImage
);
if (status)
{
return AVERROR_EXTERNAL;
}
}
status = copyAVFrameToPixelBuffer(ffp, avctx, frame, *cvImage, strides, heights);
if (status)
{
CFRelease(*cvImage);
*cvImage = NULL;
return status;
}
return 0;
}
四、硬解设置
1、进入到IJKVideoToolBoxAsync.m和IJKVideoToolBoxSync.h
1-1、查找函数
void VTDecoderCallback(void *decompressionOutputRefCon,
void *sourceFrameRefCon,
OSStatus status,
VTDecodeInfoFlags infoFlags,
CVImageBufferRef imageBuffer,
CMTime presentationTimeStamp,
CMTime presentationDuration)
{
替换
OSType format_type = CVPixelBufferGetPixelFormatType(imageBuffer);
if (format_type != kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange) {
ALOGI("format_type error \n");
goto failed;
}
把kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange替换成kCVPixelFormatType_32BGRA
1-2、查找函数
static VTDecompressionSessionRef vtbsession_create(Ijk_VideoToolBox_Opaque* context)
替换
CFDictionarySetSInt32(destinationPixelBufferAttributes,
kCVPixelBufferPixelFormatTypeKey, kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange);
把kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange替换成kCVPixelFormatType_32BGRA
2、进入到ff_ffplay.c
查找函数
static int queue_picture(FFPlayer *ffp, AVFrame *src_frame, double pts, double duration, int64_t pos, int serial)
image
// 需要添加头文件
#include "ijksdl_vout_overlay_videotoolbox.h"
添加这段代码: (可以查找SDL_VoutUnlockYUVOverlay(vp->bmp);)
if (ffp -> videotoolbox) {
// TODO edit
ffp_pixelbuffer_lock(ffp);
ffp->szt_pixelbuffer = SDL_VoutOverlayVideoToolBox_GetCVPixelBufferRef(vp->bmp); // picture->opaque;
ffp_pixelbuffer_unlock(ffp);
if (!ffp->szt_pixelbuffer) {
ALOGE("nil pixelBuffer in overlay\n");
}
}
3、屏蔽SDLView获取纹理渲染的接口
进入到ff_ffplay.c, 查找函数
static void video_image_display2(FFPlayer *ffp)
注释掉以下代码
// SDL_VoutDisplayYUVOverlay(ffp->vout, vp->bmp);
image
4、添加参数设置
4-1、进入ff_ffplay_def.h
在FFPlayer数据结构中添加
int vtb_frame_width_default;
image
查找：ffp->vtb_max_frame_width = 0;
在这个后面添加
ffp->vtb_frame_width_default = 0;
image
4-2、进入ff_ffplay_options.h
查找"videotoolbox-max-frame-width"
在这个后面添加
{ "video-max-frame-width-default", "max width of output frame default",
OPTION_OFFSET(vtb_frame_width_default), OPTION_INT(0, 0, INT_MAX) },
image
4-3、进入IJKOptions.m
在+ (IJKFFOptions *)optionsByDefault{}内添加:
[options setPlayerOptionIntValue:1 forKey:@"video-max-frame-width-default"];
image
5、进入到IJKVideoToolBoxAsync.m和IJKVideoToolBoxSync.h
查找
static VTDecompressionSessionRef vtbsession_create(Ijk_VideoToolBox_Opaque* context)
将代码
if (ffp->vtb_max_frame_width > 0 && width > ffp->vtb_max_frame_width) {
double w_scaler = (float)ffp->vtb_max_frame_width / width;
width = ffp->vtb_max_frame_width;
height = height * w_scaler;
}
替换为
if (ffp->vtb_frame_width_default > 0 && ffp->vtb_max_frame_width > 0 && width > ffp->vtb_max_frame_width) {
double w_scaler = (float)ffp->vtb_max_frame_width / width;
width = ffp->vtb_max_frame_width;
height = height * w_scaler;
}
五、优化点
- 我使用文中提供的方法硬解播放一切正常，但是使用软解播放的时候偶现卡顿现象，所以我就没使用文中的软件方案，而是在硬解的地方去掉了
if (ffp -> videotoolbox)这个判断语句，软硬解都会执行到这里来的，而且我返回的数据是void *类型（使用的时候会转换成SDL_VoutOverlay类型），因为我这边需求只是为了提高刷新率，所以就起一个线程单独刷新数据，不在局限于以前的默认帧率（一般25帧）。数据也没有转换直接赋值ffp->szt_pixelbuffer = vp->bmp;,因为我就是需要SDL_VoutOverlay这样的数据，这样做起来更省事。 - 如果需要使用
CVPixelBufferRef类型，同样可以软硬解都在static int queue_picture(FFPlayer *ffp, AVFrame *src_frame, double pts, double duration, int64_t pos, int serial)函数内拿到szt_pixelbuffer以后再根据软硬解做不同的处理，硬解就使用SDL_VoutOverlayVideoToolBox_GetCVPixelBufferRef(vp->bmp),软解就使用原文作者提到的转换方案（static int copyAVFrameToPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, const AVFrame* frame, CVPixelBufferRef cv_img, const size_t* plane_strides, const size_t* plane_rows)和int createCVPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, AVFrame* frame, CVPixelBufferRef* cvImage)）这两个方法。这样就不会出现软解卡顿的现象了。 - 如果最终使用的数据类型也是
SDL_VoutOverlay类型，在硬解里边颜色空间就不用做修改了，即kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange不需要替换成kCVPixelFormatType_32BGRA了。
