记录一次解决EXT-X-DISCONTINUITY PTS错误的历程

某天测试反馈,硬解某个hls流后面几秒钟无法播放,以为解码错误导致,但实际解码正常。经过排查(排查的过错有些曲折,就不细说了),发现是解码出来的PTS异常:某个包pts异常的大,导致渲染模块把后面收到的包都抛掉了。

为什么会突然来一个特别大的PTS?真实环境下各种乱七八糟的格式见得多了,搞不好是流本身的问题,这是我第一时间能想到的。只是软解可以正常播放,这促使我进一步去软解一探究竟,发现原来decoder修改了pts。ffmpeg 源代码简单分析 : avcodec_decode_video2()
注意到这一行

av_frame_set_best_effort_timestamp(picture,  
                                               guess_correct_pts(avctx,  
                                                                 picture->pkt_pts,  
                                                                 picture->pkt_dts));  

guess_correct_pts返回了正确的pts。guess_correct_pts里面算法挺简单的,就是统计dts乱序的次数,然后确定最终是否用dts代替pts。
虽然从avformat得到的dts也是错的,decoder内部对dts也做了修正。修正就细节比较复杂,而iOS的硬解对DTS完全无视,除了自己移植这套算法,好像没有别的办法。


FFmpeg上来的dts也不能全信,也许它解析错了呢。所有要拿到原始数据,看他是不是真的有问题。
EasyICE可能是目前最强大的TS分析工具。用它分析了这条流,发现没有PTS相关错误(打脸了),所以这只能是avformat解析的bug。

FFmpeg本身不支持EXT-X-DISCONTINUITY,我们用的是IJK的分支https://github.com/Bilibili/FFmpeg(感谢IJK贡献了这么优秀的代码)。pts的相关计算代码如下

        if (c->playlists[minplaylist]->finished) {
            struct playlist *pls = c->playlists[minplaylist];
            int seq_no = pls->cur_seq_no - pls->start_seq_no;
            if (seq_no < pls->n_segments && s->streams[pkt->stream_index]) {
                struct segment *seg = pls->segments[seq_no];
                int64_t pred = av_rescale_q(seg->previous_duration,
                                            AV_TIME_BASE_Q,
                                            s->streams[pkt->stream_index]->time_base);
                int64_t max_ts = av_rescale_q(seg->start_time + seg->duration,
                                              AV_TIME_BASE_Q,
                                              s->streams[pkt->stream_index]->time_base);
                /* EXTINF duration is not precise enough */
                max_ts += 2 * AV_TIME_BASE;
                if (s->start_time > 0) {
                    max_ts += av_rescale_q(s->start_time,
                                           AV_TIME_BASE_Q,
                                           s->streams[pkt->stream_index]->time_base);
                }
                if (pkt->dts != AV_NOPTS_VALUE && pkt->dts + pred < max_ts) pkt->dts += pred;
                if (pkt->pts != AV_NOPTS_VALUE && pkt->pts + pred < max_ts) pkt->pts += pred;
            }
        }

pts和dts都加上了pred这么一个值,正是pred导致了那个包PTS偏大。要理解为什么加这个值,下面这幅图可以说明。

EXT-X-DISCONTINUITY

左右两边是两个不同的playlist(因为中间有EXT-X-DISCONTINUNITY标记),假设两个绿色部分是两个不同的包,p1和p2是PTS。根据HLS的规范,p1和p2不连续,p2的真实PTS应该是p2+duration1。

IJK的代码认为,pts + pred 的值比这个segment最大时间小(max_ts),那么就应该加上。而且当一次读取跨两个playlist的包时,文件指针移到了后一个playlist,max_ts就成了后一个的最大时间。所以p1被转换成一个很大的pts1,而p2 < p1,结果后面的pts变小反而被渲染丢掉了。

既然是因为buff跨两个文件导致,那能不能不让它跨过去?说起来简单,实施起来有很多事情要做

  • avio读文件时,如果在读另一个文件,需要中断当前read
  • 中断avio不是一个特别好的解决,因为作为一个抽象的io层,如果读不到所需要数据,会被认为遇到了EOF
  • 不中断read,需要一个标记,指出某段buffer是某个文件
  • avpkt也需要增加标记
  • ...

重新思考了一下,其实没有必要这么复杂,只需要记录前一个pts,根据pts递增的特性就能判断

临时值引入

p0 < p1
p1 > p2

如果前一个pts比当前pts大,那么这个pts就是重新编码的pts,需要加上前一个的duration。

至此完美解决pts分段问题。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容