iOS ijkPlayer改为p2p帧模式播放

像一些安防产品，都是通过设备采集到音视频数据，然后通过p2p方式发送到手机端，手机端需要播放发送过来的每一帧音视频。我们来讨论下，如何修改ijkPlayer，让它支持按帧播放视频。

iOS的ijkPlayer只提供通过url方式播放。这里修改的总体思路是通过AVIO的方式，修改源码打开url的接口avformat_open_input。具体修改如下：

一、底层修改

ff_ffplay.c大概3144行

    if(ffp->useMemPlay){
        //通过IO方式播放
        unsigned char *aviobuffer=(unsigned char *)av_malloc(VIDEO_BUFFER_SIZE);
        avio =avio_alloc_context(aviobuffer, VIDEO_BUFFER_SIZE,0,NULL,&read_buffer,NULL,NULL);
        ic->pb = avio;
        ic->flags |= AVFMT_FLAG_CUSTOM_IO;
        err = avformat_open_input(&ic, 0, 0, &ffp->format_opts);
    }else{
        //通过url方式播放
        err = avformat_open_input(&ic, is->filename, is->iformat, &ffp->format_opts);
    }

ffp->useMemPlay是我加的一个变量，来控制是通过IO方式，还是url方式播放。
read_buffer回调函数，通过这个函数要数据：

static int read_buffer(void *opaque, uint8_t *buf, int buf_size){

    return my_read_packet_func(tmpOpaque,buf,buf_size);
}

我这里把要数据的回调执行了OC层，中间进行了一些传递。理解思路的话，下面代码不是重点：

#define VIDEO_BUFFER_SIZE 40960

typedef int (*read_packet_func)(void *opaque, uint8_t *buf, int buf_size);
read_packet_func my_read_packet_func = NULL;
void *tmpOpaque = NULL;

//设置回调函数
void ffp_global_set_readFromMem(void *sopaque, int (*read_packet)(void *opaque, uint8_t *buf, int buf_size))
{
    tmpOpaque = sopaque;
    my_read_packet_func = read_packet;
}

ff_ffplay.h

//定义设置回调函数
void ffp_global_set_readFromMem(void *sopaque, int (*read_packet)(void *opaque, uint8_t *buf, int buf_size));

中间层传递的部分：
ijkplayer.h

//by alex 从内存获取数据的回调
void ijkmp_global_set_readFromMem(IjkMediaPlayer *mp, void *opaque, int (*read_packet)(void *opaque,uint8_t *buf, int buf_size));

ijkplayer.h

//by alex 从内存获取数据的回调
void ijkmp_global_set_readFromMem(IjkMediaPlayer *mp, void *opaque, int (*read_packet)(void *opaque,uint8_t *buf, int buf_size))
{
    mp->ffplayer->useMemPlay = 1;
    ffp_global_set_readFromMem(opaque,read_packet);
}

二、OC层修改

IJKFFMoviePlayerController.h

//传入annex-b格式的视频帧数据
- (void)inputFrameData:(NSData *)data;

IJKFFMoviePlayerController.m

//在prepareToPlay加入
ijkmp_global_set_readFromMem(_mediaPlayer,(__bridge void *)self,read_buffer);

//消费者与生产者函数
//by alex
static int read_buffer(void *opaque, uint8_t *buf, int buf_size){
    if(opaque==NULL){
        printf("read error\n");
        return -1;
    }
    IJKFFMoviePlayerController *opt = (__bridge IJKFFMoviePlayerController *)opaque;
    return [opt getVideoData:buf length:buf_size];
}
//by alex
- (void)inputFrameData:(NSData *)data{

    if(data.length>0){
        [_condition lock];
        [self.mulFrameData appendData:data];
        [_condition signal];
        [_condition unlock];
    }
//    NSLog(@"[cloudVideoMux]input data=%zi",data.length);
}

- (int)getVideoData:(void *)buffer length:(int)length{
    int rtn = 0;
    [_condition lock];
    int size = (int)[self.mulFrameData length];
    if(size<=0){
        [_condition wait];
    }
    size = (int)[self.mulFrameData length];
    if (size >= length) {
        [self.mulFrameData getBytes:buffer length:length];
        [self.mulFrameData replaceBytesInRange:NSMakeRange(0, length) withBytes:nil length:0];
        rtn = length;
    }else{
        [self.mulFrameData getBytes:buffer length:size];
        [self.mulFrameData setLength:0];
        rtn = size;
    }
    NSLog(@"[cloudVideoMux]get size=%d len=%d",rtn,length);
    [_condition unlock];
    return rtn;
}

整体思路如上面所示。部分变量可能未写出来。需要注意的地方，消费者和生产者部分得使用条件锁的方式。如果getVideoData返回0了，可能后面av_read_frame读到的都是end_of_file了，播放会停止。

通过上面的修改。基本可以实现播放。但是还是会有不少问题：
1、硬解不支持动态分辨率
2、硬解不支持H265格式

后面再讨论如何解决。

demo:
https://github.com/wulang150/ijkP2PDemo

因为我是直接在ijkplayer那个demo上修改调试，所以不可能上传它的全部代码。我只是上传了需修改的文件。上面不是一个完整的可运行的demo。

VideoLiveTestVC：是读取裸流H264文件，并读取为一帧帧的数据。我使用这个来调试