IOS-RTMP相关

介绍：IOS下的RTMP播放器真心不多，好用的更少。本人找了一圈最后还是在GITHUB里使用了
ijkplayer 播放器。
简单介绍一下，ijkplayer 是基于ffmpeg 上封装了一层的播放器支持IOS,android，写这篇文章的时候ios 方面github上介绍还不多，我这里说下怎么来播放RTMP的视频。
1、如何播放RTMP视频
找到 JKDemoInputURLViewController.m 修改代码如下

- (void)onClickPlayButton {
NSURL*url = [NSURLURLWithString:self.textView.text];
NSString*scheme = [[urlscheme]lowercaseString];
//if ([scheme isEqualToString:@"http"] || [scheme isEqualToString:@"https"]) {
[IJKVideoViewControllerpresentFromViewController:selfwithTitle:[NSStringstringWithFormat:@"URL: %@", url]URL:urlcompletion:^{
//[self.navigationController popViewControllerAnimated:NO];
}];
//}
}

好了 你直接可以在输入URL模式中输入你的RTMP地址就好了

  1. 如何降低延迟的问题
    服务器：本人的流媒体服务器是自建的，使用的是云主机，5MB带宽2CPU 1.0GHz 2G内存属于比较烂配置，用的red5 1.0.7 最新的版本，具体怎么安装请查看Red5 GITHUB内的WIKI部分即可，推流端：IOS 用的 LFLiveKit 可以自行GITHUB 内搜索即可。
    延迟主要存在于推流端和播放器端 LFLiveKit 不存在缓冲区没什么好配置的，如果使用OBS 推流请在 输出-->高级-->缓冲大小填0即可，
    Red5 去conf 文件夹下里修改red5.properties 文件
rtmp.send_buffer_size=200
rtmp.receive_buffer_size=200

服务端就好了没什么别的,重启red5 服务即可
ijkplayer播放器默认是带缓冲的所以我们主要修改播放器部分的缓冲区，原理就是去掉作者封装的缓冲区那一层，激活ffplay 播放器的无缓冲标志。我们来操作吧
首页我们在 公共头文件IJKMediaPlayer-Prefix.pch里增加一个宏定义

#define USE_IJK_BUFERING  0

在 IJKFFOptions.m 里修改

+ (IJKFFOptions*)optionsByDefault
{
IJKFFOptions*options = [[IJKFFOptionsalloc]init];
[optionssetPlayerOptionIntValue:30forKey:@"max-fps"];
[optionssetPlayerOptionIntValue:0forKey:@"framedrop"];
[optionssetPlayerOptionIntValue:3forKey:@"video-pictq-size"];
[optionssetPlayerOptionIntValue:0forKey:@"videotoolbox"];
[optionssetPlayerOptionIntValue:960forKey:@"videotoolbox-max-frame-width"];
[optionssetFormatOptionIntValue:0forKey:@"auto_convert"];
[optionssetFormatOptionIntValue:1forKey:@"reconnect"];
[optionssetFormatOptionIntValue:30*1000*1000forKey:@"timeout"];
[optionssetFormatOptionValue:@"ijkplayer"forKey:@"user-agent"];
[optionssetFormatOptionValue:@"2000000"forKey:@"analyzeduration"];//增加的
[optionssetFormatOptionValue:@"nobuffer"forKey:@"fflags"];//增加的
[optionssetFormatOptionValue:@"4096"forKey:@"probsize"]; //增加的
options.showHudView=NO;
returnoptions;
}

在 ff_ffplay_def.h 文件里修改

#ifdef USE_IJK_BUFERING
#define DEFAULT_HIGH_WATER_MARK_IN_BYTES (256*1024)
/*
* START: buffering after prepared/seeked
* NEXT:buffering for the second time after START
* MAX:...
*/
#define DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS (100)
#define DEFAULT_NEXT_HIGH_WATER_MARK_IN_MS (1*1000)
#define DEFAULT_LAST_HIGH_WATER_MARK_IN_MS (5*1000)
#define BUFFERING_CHECK_PER_BYTES  (512)
#define BUFFERING_CHECK_PER_MILLISECONDS (500)
#define MAX_QUEUE_SIZE (15*1024*1024)
#ifdef FFP_MERGE
#define MIN_FRAMES 25
#endif
#define DEFAULT_MIN_FRAMES 50000
#define MIN_MIN_FRAMES 5
#define MAX_MIN_FRAMES 50000
#define MIN_FRAMES (ffp->dcc.min_frames)
#else
#define MAX_QUEUE_SIZE (0)
#define MIN_FRAMES 5
#define MIN_MIN_FRAMES 5
#endif

简单说明下就是去掉原作者的缓冲，使用我们自己定义的缓冲区大小 MAX_QUEUE_SIZE 为0 就是不缓冲了（这里的缓冲区是显示层的，不是网络数据的缓冲）
接着ff_ffplay_options.h 文件里肯定要报错了

//{ "min-frames","minimal frames to stop pre-reading",
//OPTION_OFFSET(dcc.min_frames),OPTION_INT(DEFAULT_MIN_FRAMES, MIN_MIN_FRAMES, MAX_MIN_FRAMES) },
//{ "first-high-water-mark-ms","first chance to wakeup read_thread",
//OPTION_OFFSET(dcc.first_high_water_mark_in_ms),
//OPTION_INT(DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_LAST_HIGH_WATER_MARK_IN_MS) },
//{ "next-high-water-mark-ms","second chance to wakeup read_thread",
//OPTION_OFFSET(dcc.next_high_water_mark_in_ms),
//OPTION_INT(DEFAULT_NEXT_HIGH_WATER_MARK_IN_MS,
//DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_LAST_HIGH_WATER_MARK_IN_MS) },
//{ "last-high-water-mark-ms","last chance to wakeup read_thread",
//OPTION_OFFSET(dcc.last_high_water_mark_in_ms),
//OPTION_INT(DEFAULT_LAST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_LAST_HIGH_WATER_MARK_IN_MS) },

注释掉相关报错的属性即可
继续在 ff_ffplay.c 文件里修改
staticintdecoder_decode_frame(FFPlayerffp,Decoderd,AVFrameframe,AVSubtitlesub)函数内修改

do{
if(d->queue->nb_packets==0)
SDL_CondSignal(d->empty_queue_cond);
#ifdef USE_IJK_BUFERING
if(packet_queue_get_or_buffering(ffp, d->queue, &pkt, &d->pkt_serial, &d->finished) <0)
return-1;
#else
if(packet_queue_get(d->queue, &pkt,1, &d->pkt_serial) <0)
return-1;
#endif
if(pkt.data==flush_pkt.data) {
avcodec_flush_buffers(d->avctx);
d->finished=0;
d->next_pts= d->start_pts;
d->next_pts_tb= d->start_pts_tb;
}
}while(pkt.data==flush_pkt.data|| d->queue->serial!= d->pkt_serial);

staticintread_thread(void*arg) 函数最后修改

if(ffp->packet_buffering) {
#ifdef USE_IJK_BUFERING
io_tick_counter = SDL_GetTickHR();
if(abs((int)(io_tick_counter - prev_io_tick_counter)) > BUFFERING_CHECK_PER_MILLISECONDS) {
prev_io_tick_counter = io_tick_counter;
ffp_check_buffering_l(ffp);
}
#endif
}

最后 ffpipenode_ios_videotoolbox_vdec.m 文件里修改
intdecoder_decode_frame_videotoolbox(VideoToolBoxContext* context)函数里

do{
if(d->queue->nb_packets==0)
SDL_CondSignal(d->empty_queue_cond);
ffp_video_statistic_l(ffp);
#ifdef USE_IJK_BUFERING
if(ffp_packet_queue_get_or_buffering(ffp, d->queue, &pkt, &d->pkt_serial, &d->finished) <0)
return-1;
#else
if(ffp_packet_queue_get(d->queue, &pkt,1,&d->pkt_serial) <0)
return-1;
#endif
if(ffp_is_flush_packet(&pkt)) {
avcodec_flush_buffers(d->avctx);
context->refresh_request=true;
context->serial+=1;
d->finished=0;
ALOGI("flushed last keyframe pts %lld \n",d->pkt.pts);
d->next_pts= d->start_pts;
d->next_pts_tb= d->start_pts_tb;
}
}while(ffp_is_flush_packet(&pkt) || d->queue->serial!= d->pkt_serial);

好了跑一下，带宽足够的情况下延迟应该在0.5-1秒左右，基本是实时的了

3.ijkplayer 的BUG 解决
ijkplayer 确实已经算很赞的播放器了，毕竟是开源的东东，自然多少会有点BUG，说下使用中发现的BUG问题也节省各位看官时间。
现象：观看一下直播然后点击DONE按钮 关闭后后会有一个超时提示，DEBUG时是在IJKSDLAudioQueueController.m 文件里的stop 函数里的 AudioQueueStop(_audioQueueRef,true); 这句话报出来的。查了下苹果的资料说明，这个函数默认是和音频的处理函数在同一个线程下执行的所以会卡死报出超时警告。建议是用不同的线程去执行这个函数,并且需要判定kAudioQueueProperty_IsRunning 是否是1 才可以调用的那么我们就来解决下吧：

// do not lock AudioQueueStop, or may be run into deadlock
dispatch_queue_tconcurrentQueue =dispatch_queue_create("leon.audio.queue",DISPATCH_QUEUE_CONCURRENT);
dispatch_async(concurrentQueue, ^{
while(true) {
UInt32askRunning =0;
UInt32runsize =sizeof(askRunning);
AudioQueueGetProperty(_audioQueueRef,kAudioQueueProperty_IsRunning, &askRunning, &runsize);
if(askRunning) {
AudioQueueStop(_audioQueueRef,true);
AudioQueueDispose(_audioQueueRef,true);
_audioQueueRef=nil;
break;
}
}
});

再运行下发现不再出现警告可以顺利执行，但是接着来了一个野指针访问。。。程序直接CRASH 了（当然不改的话等个5-10秒这个CRASH 也会出现）
这个野指针分析下来小弟的看法是网络数据包一次性给了10KB的数据，audio 处理单元拿下来处理成了对应的音频包结构后变成了10个音频单元包，这10个音频包是按顺序处理的，数据源是在FFPlayer结构体里的is分配的 ,当我们点击了DONE按钮后FFPlayer 对象里的is 的对象释放时，那10个音频包是在不同线程里处理的没有处理完比如只处理4个还有6个，从而造成了野指针访问导致程序CRASH，解释了这么多其实小弟我也头晕一开始想的是如何做好线程间的调度，想了半天没什么思路为了方便就顺着正常思路想下去那就是如果我把音频包都处理完不就没这个问题了嘛，那就来动手吧：
在FFPlayer 结构体里增加一个 int willclose; 属性（我随便起的）接着在FFPlayer*ffp_create()函数加一个初始化

FFPlayer*ffp_create()
{
av_log(NULL,AV_LOG_INFO,"av_version_info: %s\n",av_version_info());
FFPlayer* ffp = (FFPlayer*)av_mallocz(sizeof(FFPlayer));
if(!ffp)
returnNULL;
msg_queue_init(&ffp->msg_queue);
ffp->af_mutex=SDL_CreateMutex();
ffp->vf_mutex=SDL_CreateMutex();
ffp_reset_internal(ffp);
ffp->av_class= &ffp_context_class;
ffp->meta=ijkmeta_create();
ffp->willclose=10;
av_opt_set_defaults(ffp);
returnffp;
}

在 intffp_wait_stop_l(FFPlayer*ffp) 函数修改

intffp_wait_stop_l(FFPlayer*ffp)
{
assert(ffp);
if(ffp->is) {
ffp_stop_l(ffp);
ffp->willclose=90;
stream_close(ffp);
ffp->is=NULL;
}
return0;
}

最后 staticvoidsdl_audio_callback(voidopaque,Uint8stream,intlen) 函数做如下修改

while(len >0) {
if(is->audio_buf_index>= is->audio_buf_size) {
//增加部分(以下)
if(ffp->willclose==90) {
is->audio_buf_index= is->audio_buf_size;
memset(stream,0, len);
SDL_AoutFlushAudio(ffp->aout);
break;
}
//增加部分(以上)
audio_size =audio_decode_frame(ffp);
if(audio_size <0) {
/* if error, just output silence */
is->audio_buf= is->silence_buf;
is->audio_buf_size=sizeof(is->silence_buf) / is->audio_tgt.frame_size* is->audio_tgt.frame_size;
}else{
if(is->show_mode!=SHOW_MODE_VIDEO)
update_sample_display(is, (int16_t*)is->audio_buf, audio_size);
is->audio_buf_size= audio_size;
}
is->audio_buf_index=0;
}
if(is->auddec.pkt_serial!= is->audioq.serial) {
is->audio_buf_index= is->audio_buf_size;
memset(stream,0, len);
// stream += len;
// len = 0;
SDL_AoutFlushAudio(ffp->aout);
break;
}
len1 = is->audio_buf_size- is->audio_buf_index;
if(len1 > len)
len1 = len;
if(!is->muted&& is->audio_volume==SDL_MIX_MAXVOLUME)
memcpy(stream, (uint8_t*)is->audio_buf+ is->audio_buf_index, len1);
else{
memset(stream, is->silence_buf[0], len1);
if(!is->muted)
SDL_MixAudio(stream, (uint8_t*)is->audio_buf+ is->audio_buf_index, len1, is->audio_volume);
}
len -= len1;
stream += len1;
is->audio_buf_index+= len1;
}

运行一下，咩嘿嘿顺利释放不再CRASH 了。就先写到这里了后面有新的成果再来记录

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 200,527评论 5赞 470
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 84,314评论 2赞 377
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 147,535评论 0赞 332
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,006评论 1赞 272
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 62,961评论 5赞 360
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,220评论 1赞 277
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,664评论 3赞 392
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,351评论 0赞 254
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,481评论 1赞 294
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,397评论 2赞 317
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,443评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,123评论 3赞 315
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,713评论 3赞 303
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,801评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,010评论 1赞 255
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,494评论 2赞 346
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,075评论 2赞 341

推荐阅读更多精彩内容