1 FFmpeg 概述

引自 百度百科:FFmpeg
FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用 LGPL 或 GPL 许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的 音频/视频编解码库 libavcodec，为了保证高可移植性和编解码质量， libavcodec 里很多 code 都是 从头开发的。
FFmpeg 在 Linux 平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括 Windows、 Mac OS X 等。这个项目最早由 Fabrice Bellard 发起，2004年至2015年间由 Michael Niedermayer 主 要负责维护。许多 FFmpeg 的开发人员都来自 MPlayer 项目，而且当前 FFmpeg 也是放在 MPlayer 项目组的服务器上。项目的名称来自 MPEG 视频编码标准 ，前面的 "FF" 代表 "Fast Forward" 。

2 音视频各阶段编解码格式

播放与录制音视频流程

播放与录制音视频流程

2.1 视频

2.1.1 视频像素格式

• ARGB_8888 : 常见的图像像素编码格式，用 4 个字节分别存储图像的 A 透明度信息， R 红色通道信 息， G 绿色通道信息， B 蓝色通道信息。
• YUV : YUV像素格式来源于RGB像素格式，通过公式运算，YUV三分量可以还原出RGB，YUV转RGB的 公式如下:

R = Y + 1.403V
G = Y - 0.344U - 0.714
V B = Y + 1.770U

一般，将 RGB 和 YUV 的范围均限制在 [0, 255] 间，则有如下转换公式:

R = Y + 1.403(V - 128)
G = Y - 0.344(U - 128) - 0.714(V - 128) 
B = Y + 1.770(U - 128)

YUV 格式根据采样方式不同又分为 YUV444 , YUV422 , YUV420 ，详情参考这篇博客 。

2.1.2 视频压缩格式

2.2 音频

2.2.1 音频采样数据格式

参考了 Allan_Wang 的 音视频学习框架 。

• 采样
  所谓采样就是在时间轴上对模拟信号进行数字化，根据采样定理( 香农采样定理，奈奎斯特采样 定理)，按照比声音最高频率 2 倍以上的频率进行采样(AD转换)。人耳听力范围是 20Hz~20kHz ，所以采样频率一般为 40kHz 左右，常用的有 44.1kHz (44100 次/s 采样)、 48kHz 等，采样率越高， 音质越好 。

• 量化
  是指在幅度轴上对信号进行数字化。对模拟音频信号的幅度进行数字化，它决定了模拟信号数字 化以后的动态范围，常用的有8位、12位和16位。 量化位越高，信号的动态范围越大，数字化后的 音频信号就越可能接近原始信号 。

音频采样

• PCM 编码
  PCM(Pulse Code Modulation)也被称为脉冲编码调制。PCM 音频数据是未经压缩的音频采样数据裸流 ，它是由模拟信号经过采样、量化、编码转换成的标准的数字音频数据。

如果是单声道的音频文件，采样数据按时间的先后顺序依次存入(有的时候也会采用 LRLRLR 方式存 储，只是另一个声道的数据为 0)，如果是双声道的话就按照 LRLRLR 的方式存储，存储的时候还和机 器的大小端有关。大端模式如下图所示:

image-20201219102304754

一般我们描述PCM音频数据的参数的时候有如下描述方式

44100HZ 16bit stereo : 每秒钟有 44100 次采样，采样数据用 16 位( 2 字节)记录, 双声道(立体声);

22050HZ 8bit mono : 每秒钟有 22050 次采样，采样数据用 8 位( 1 字节)记录, 单声道。

44100Hz 指的是采样率，它的意思是每秒取样44100次。采样率越大，存储数字音频所占的空间就越大。 16bit 指的是采样精度，意思是原始模拟信号被采样后，每一个采样点在计算机中用 16 位(两个字节)来表示。采样精度越高越能精细地表示模拟信号的差异。

2.2.2 音频压缩数据格式

2.2.3 音视频封装数据格式

3 获取 FFmpeg

进入 FFmpeg 官网下载开源代码和可执行工具。

image-20201219102907591

3.1 源代码

FFmpeg 是基于 C 语言的开源项目，其源代码中包含了所有开发人员所需要的包括音视频编解码，音视频播放，音视频处理等 .c/.h 文件，并且源代码根据功能进行了模块划分。主要包含以下几个模块：

FFmpeg 实际上也是一个引擎，能够集成包括 librtmp、libmp3lame 等第三方的库，以 FFmpeg 统一接口使用

3.2 可执行工具

可执行工具位于 bin 目录下

   ./configure --prefix=/usr/local/ffmpeg --enable-debug=3 --enable-shared --disable-static
   make clean
   make -j 4
   make install

cd /usr/local/ffmpeg

image-20201219103513081

4.FFmpeg 中几个重要的结构体 简单介绍

结构体一 AVPacket

参考博客 FFmpeg 结构体:AVPacket 解析

// C
typedef struct AVPacket {
AVBufferRef *buf; //用来管理data指针引用的数据缓存
int64_t pts; //显示时间，结合AVStream->time_base转换成时间戳
int64_t dts; //解码时间，结合AVStream->time_base转换成时间戳
uint8_t *data; //★指向保存压缩数据的指针，这就是AVPacket的实际数据
int size; //data的大小
int stream_index; //packet在stream的index位置
int flags; //标示，结合AV_PKT_FLAG使用，其中最低为1表示该数据是一个关键帧。 
  /*
* flags 可选:
* #define AV_PKT_FLAG_KEY 0x0001 //关键帧
* #define AV_PKT_FLAG_CORRUPT 0x0002 //损坏的数据
* #define AV_PKT_FLAG_DISCARD 0x0004 /丢弃的数据 
*/
AVPacketSideData *side_data; //容器提供的一些附加数据
int side_data_elems; //边缘数据元数个数
int64_t duration; //数据的时长，以所属媒体流的时间基准为单位，未知则值为默认值0 int64_t pos; //数据在流媒体中的位置，未知则值为默认值-1
    #if FF_API_CONVERGENCE_DURATION
    attribute_deprecated
    int64_t convergence_duration; //该字段已deprecated,不在使用 
  #endif
} AVPacket;

• AVPacket 结构体定义在 <libavcodec/avcodec.h> 中，看源码英文注释去这里找。
• 简介：AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用（demuxer)之后，解码（decode）之前的数据（仍然是压缩后的数据）和关于这些数据的一些附加的信息，如显示时间 戳（pts），解码时间戳（dts）,数据时长（duration），所在流媒体的索引（stream_index）等等。
• AVPacket 中的内存管理请参考上述引用的参考博客。

结构体二 AVFrame

参考博客 FFmpeg 数据结构 AVFrame

• AVFrame 结构体定义在 <libavutil/frame.h> ，看源码去这里找，略长不粘。
• 简介: AVFrame中存储的是经过解码后的原始数据。在解码中，AVFrame是解码器的输出;在编码 中，AVFrame是编码器的输入。

结构体三 AVFormatContext

参考博客 FFmpeg 结构体分析:AVFormatContext

• AVFormatContext 结构体定义在 <libavformat/avformat.h> 中，看源码去这里找，略长不粘。
• 简介:在使用 FFmpeg 进行开发的时候，AVFormatContext 是一个贯穿始终的数据结构，很多函数 都要用到它作为参数。它是 FFmpeg 解封装(flv，mp4，rmvb，avi)功能的结构体。下面看几个 主要变量的作用(在这里考虑解码的情况):

// C
struct AVInputFormat *iformat; //输入数据的封装格式
AVIOContext *pb; //输入数据的缓存
unsigned int nb_streams; //视音频流的个数
AVStream **streams; //视音频流
char filename[1024]; //文件名
int64_t duration; //时长(单位:微秒ms，转换为秒需要除以1_000_000) int bit_rate; //比特率(单位bps，转换为kbps需要除以1_000) AVDictionary *metadata; //元数据

结构体四 AVCodecContext

参考博客 FFmpeg 结构体分析:AVCodecContext

• AVCodecContext 结构体定义在 <libavcodec/avcodec.h> 中，看源码去这里找，略长不粘。
• 简介: 一些关键的变量来看看(这里只考虑解码)。

// C
enum AVMediaType codec_type; //编解码器的类型(视频，音频...)
struct AVCodec *codec; //采用的解码器AVCodec(H.264,MPEG2...)
int bit_rate; //平均比特率
uint8_t *extradata; int extradata_size; //针对特定编码器包含的附加信息(例如对于H.264解码器来 说，存储SPS，PPS等)
AVRational time_base; //根据该参数，可以把PTS转化为实际的时间(单位为秒s)
int width, height; //如果是视频的话，代表宽和高
int refs; //运动估计参考帧的个数(H.264的话会有多帧，MPEG2这类的一般就没有了)
int sample_rate; //采样率(音频)
int channels; //声道数(音频)
enum AVSampleFormat sample_fmt; //采样格式
int profile; //型(H.264里面就有，其他编码标准应该也有)
int level; //级(和profile差不太多)

重要结构体之间的关系

参考博客 FFmpeg 中最关键的结构体之间的关系

FFmpeg 中结构体很多。最关键的结构体可以分成以下几类:

解协议(http, rtsp, rtmp, mms)

• AVIOContext ，URLProtocol ，URLContext 主要存储视音频使用的协议的类型以及状态。URLProtocol 存 储输入视音频使用的封装格式。每种协议都对应一个 URLProtocol 结构(注意:FFmpeg 中文件也被当 做一种协议 “file” )。

解封装(flv, avi, rmvb, mp4)

• AVFormatContext 主要存储视音频封装格式中包含的信息;AVInputFormat 存储输入视音频使用的封装格式。每种视音频封装格式都对应一个 AVInputFormat 结构。

解码(h264, mpeg2, aac, mp3)

• 每个 AVStream 存储一个视频/音频流的相关数据;每个 AVStream 对应一个 AVCodecContext ，存储该视 频/音频流使用解码方式的相关数据;每个 AVCodecContext 中对应一个 AVCodec ，包含该视频/音频对应 的解码器。每种解码器都对应一个 AVCodec 结构。

存数据

视频的话，每个结构一般是存一帧;音频可能有好几帧

• 解码前数据:AVPacket
• 解码后数据:AVFrame

重要结构体之间的关系