知识:视频流媒体播放的一些知识

1.概述

常用的流媒体协议主要有:

  • 基于 RTSP/RTP 的实时流媒体协议
  • HTTP 渐进下载
  • 基于浏览器插件,页面嵌入一个 flash 播放器

内嵌 flash 的方式必须要有浏览器支持。这样的方式已经被各大浏览器放弃,在谷歌浏览器中已经不再支持flash。本文不再说明。

这三种方式完全不同,在开发阶段技术选型时,又和 开发的方向是 C/S 程序或者 B/S 程序相关。目前比较方便又好用的是用 HTTP 渐进下载方法。

2.知识

2.1 传输协议

RTMP、RTSP、HTTP协议,这些是互联网 TCP/IP 五层体系结构中应用层的协议,都可以用来做视频直播或点播。通常来说,直播一般用 RTMP、RTSP点播用 HTTP

概念

RTMP: 即 Real Time Messaging Protocol(实时消息传输协议),基于TCP,是一种设计用来进行实时数据通信的网络协议。主要用来在 流媒体/交互服务器 之间进行音视频和数据通信

RTSP: 即 Real Time Streaming Protocol (实时流传输协议),它使用TCP或UDP完成数据传输。使用RTSP时,客户机和服务器都可以发出请求,即RTSP可以是双向的。

HTTP: 超文本传输协议(Hypertext Transfer Protocol,HTTP)是一个简单的请求-响应协议,它通常运行在 TCP 之上。它是 请求-响应 的方式,即 客户端发出请求,服务端收到后做出响应。

对比表

名称 特征 传输的内容 特征 传输方式 说明
RTMP 是流媒体协议 一般传输的是 flv,f4v 格式流 基于TCP 基于TCP 它是Adobe 的私有协议
RTSP 是流媒体协议 一般传输的是 ts、mp4 格式的流 可以双向,即客户机和服务器都可以发出请求 使用TCP或UDP完成数据传输 共有协议,并有专门机构做维护
HTTP协议 超文本传输协议,它不是流媒体协议 传输的是HTML,浏览器使用 单向,即客户端发出请求,服务端做出响应 基于TCP 请求-响应协议

2.2 后来呢

从上面我们看到 RTSP 不方便在 浏览器上使用。于是就有了这些解决方案。

HLS : 基于HTTP的自适应码率流媒体传输协议 (HTTP Live Streaming),它是Apple的动态码率自适应技术。它最初是苹果公司针对移动设备而开发的流。后来桌面也有很多应用了,HTML5 是直接支持了。

WebRTC:即 网页即时通信 ( Web Real-Time Communication)的缩写,是一个支持网页浏览器进行实时语音对话或视频对话的API。它实现了基于网页的视频会议(标准是WHATWG 协议),目的是通过浏览器提供简单的javascript就可以达到实时通讯 (RTC))能力。

Flash Player: 基于浏览器插件,页面嵌入一个 flash 播放器。缺点是必须要有浏览器支持。这样的方式已经被各大浏览器放弃,在谷歌浏览器中已经不再支持flash。

3. 流媒体相关的工具和库

3.1 编码解码工具 FFmpeg

FFmpeg 是一个库和工具的集合,用于处理多媒体内容,如音频、视频、字幕和相关元数据。

常用到的功能有:

  • 视频采集
  • 视频格式转换
  • 视频截图
  • 给视频加水印
功能 说明
视频采集 采集摄像头的图像,进行屏幕录制,将视频流传送给流媒体服务器,支持直播应用。
视频格式转换 视频格式转换,比如可以将多种视频格式转换为flv格式。
视频截图 截取指定时间的缩略图。视频抓图,获取静态图和动态图
给视频加水印 可使用ffmpeg 视频添加水印(logo)

它包含了这些软件包

说明
libavcodec 提供多种格式的 视频/音频 编解码器的实现;
libavformat 用于各种音视频封装格式的生成和解析,包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能;
libavutil 包括散列、解压缩器和其他实用程序函数
libavfilter 提供一种通过过滤器链改变解码音频和视频的方法。
libavdevice 提供访问捕获和回放设备的抽象。
libswresample 实现音频混合和重采样例程。
libswscale 实现颜色转换和缩放例程。

FFmpeg 的 Github地址:https://github.com/FFmpeg/FFmpeg

它包含了这些工具

工具 说明
Ffmpeg 是一个用于操作、转换和流媒体内容的命令行工具箱。
Ffplay 是一个极简的多媒体播放器。
Ffprobe 是一个简单的多媒体内容检测分析工具。
附加的小工具 如aviocat, ismindex和qt-faststart。

还有这些工具

工具 说明
libpostproc 用于后期效果处理;
ffsever 一个 HTTP 多媒体即时广播串流服务器;

3.2 SRS 简单流媒体服务

SRS是一个简单高效的实时视频服务器,支持RTMP/WebRTC/HLS/HTTP-FLV/SRT/GB28181。

3.3 OBS 推流

Open Broadcaster Software(简称 OBS)是一款好用的第三方开源程序直播流媒体内容制作软件,为用户提供免费使用,它可支持 OS X、Windows、Linux 操作系统

FFmpeg的命令行方式不太友好,可考虑使用主流的OBS开源推流软件,很多网络主播都是用它做直播,该软件支持本地视频文件以及摄像头推流。

软件长这样:


image.png

主站:https://obsproject.com/
Github: https://github.com/jp9000/OBS

3.3 播放

产生了媒体流,就可以播放了。比较常用的 VLC 播放器。

VLC 是一款自由、开源的跨平台多媒体播放器及框架,可播放大多数多媒体文件,以及 DVD、音频 CD、VCD 及各类流媒体协议。

主站:https://www.videolan.org/

3.4 DVR 录像

DVR: SRS支持将RTMP流录制成FLV或MP4文件。下面的描述以FLV为例,但是对MP4也是一样的。

DVR的难点在于写入flv和文件命名,SRS的做法是随机生成文件名,用户可以使用http-callback方式,使用外部程序记录这个文件名,或者改成自己要的文件命名方式。

4.参考

https://github.com/ossrs/srs/tree/3.0release#usage

https://gitee.com/ChinaFFmpeg/ffmpeg?utm_source=alading&utm_campaign=repo
http://www.ffmpeg.org/
https://baike.baidu.com/item/ffmpeg/2665727?fr=aladdin

https://help.aliyun.com/document_detail/45212.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,636评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,890评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,680评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,766评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,665评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,045评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,515评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,182评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,334评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,274评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,319评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,002评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,599评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,675评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,917评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,309评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,885评论 2 341

推荐阅读更多精彩内容

  • 我们日常能看到的视频、语音和现在比较流行的直播等,都是基于流媒体实现的,作为开发者,我们要想去彻底的准备或开发与视...
    聆听者JYZ阅读 5,586评论 1 29
  • 1、OpenH323项目 (★★★★★) 上榜理由:最著名的H.323开源协议栈,视频会议开发必备协议栈,强烈推荐...
    生活的探路者阅读 3,039评论 0 0
  • 一直混迹在直播互动行业,被人问到一些技术问题,一脸懵逼。 一、基本概念 1、流媒体 流媒体又叫流式媒体,它是指商家...
    嗯哼嗯阅读 8,672评论 1 15
  • 流媒体通信协议 常用的流媒体协议主要有HTTP渐进下载(如HLS)和基于RTSP/RTP的实时流媒体协议,这两种基...
    桃逸阅读 2,277评论 0 0
  • 流媒体 RTMP、HDL适用于PC端,HLS适用于移动端(Android、iOS) AVFoundation HL...
    fakepinge阅读 1,008评论 0 2