最近研究直播，一路下来遇到了很多问题，但最终经过半年的学习，在音视频这块已经有了进一步的理解，感谢我的朋友们给予的帮助，打算写下这半年来总结出来的经验，让更多的人能够接触到音视频这块。
今天说下视频解码基础知识
众所周知，我们日常看到的视频都有各种各样的视频格式，mp4，flv，rmvb，mkv，wmv。。。这些视频是根据什么区分的，为什么会有这么多视频格式。
首先说下视频压缩，视频都是一帧一帧的图片组成，他们都是通过容器封装成各种各样的格式。人眼的视觉残留特性导致人眼的分辨率不能超过30帧每秒，那么我们也就没有必要按照视频最初采集的大小进行存储，否则存储消耗实在是太大，比如1080p电影15分钟经过YUV4:2:0格式下的数据量为1920 x 1028 x 12 x 25 x 15 x 60/8/1024/1024/1024=62.03GB。这对于拍摄一部90分钟的电影来说简直是噩梦。
在摄像头之类编程经常是会碰到YUV格式,而非大家比较熟悉的RGB格式. 我们可以把YUV看成是一个RGB的变种来理解。YUV的原理是把亮度与色度分离，研究证明,人眼对亮度的敏感超过色度。利用这个原理，可以把色度信息减少一点，人眼也无法查觉这一点。
YUV三个字母中，其中"Y"表示明亮度（Lumina nce或Luma），也就是灰阶值；而"U"和"V"表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。用这个三个字母好象就是通道命令。
那么我们如果将本地视频解码并保存为yuv格式呢？在这里FFmpeg官方给出的视频解码流程
FFmpeg解码
从上面流程图我们可以看出视频解码流程
第一步：注册所有组件
第二步：打开视频输入文件
第三步：查找视频文件信息
第四步：查找解码器
第五步：打开解码器
第六步：循环读取视频帧，进行循环解码
第七步：关闭解码组件
下面我们就来实现使用FFmpeg将视频解码为yuv格式
源码
#include <jni.h>
#include <string>
//导入android-log日志
#include <android/log.h>
//当前C++兼容C语言
extern "C"{
//avcodec:编解码(最重要的库)
#include "libavcodec/avcodec.h"
//avformat:封装格式处理
#include "libavformat/avformat.h"
//avutil:工具库(大部分库都需要这个库的支持)
#include "libavutil/imgutils.h"
//swscale:视频像素数据格式转换
#include "libswscale/swscale.h"
//导入音频采样数据格式转换库
#include "libswresample/swresample.h"
JNIEXPORT void JNICALL Java_com_samychen_ffmpeg_FFmpegTest_ffmpegTest
(JNIEnv *, jobject);
JNIEXPORT void JNICALL Java_com_samychen_ffmpeg_FFmpegTest_ffmpegDecoder
(JNIEnv *env, jobject jobj,jstring jInFilePath,jstring jOutFilePath);
JNIEXPORT void JNICALL Java_com_samychen_ffmpeg_FFmpegTest_ffmpegDecoderAudio
(JNIEnv *env, jobject jobj,jstring jInFilePath,jstring jOutFilePath);
}
//1、NDK音视频编解码：FFmpeg-测试配置
JNIEXPORT void JNICALL Java_com_samychen_ffmpeg_FFmpegTest_ffmpegTest(
JNIEnv *env, jobject jobj) {
//(char *)表示C语言字符串
const char *configuration = avcodec_configuration();
__android_log_print(ANDROID_LOG_INFO,"main","%s",configuration);
}
//2.NDK音视频编解码：FFmpeg-视频解码-视频像素数据(YUV420P)
JNIEXPORT void JNICALL Java_com_samychen_ffmpeg_FFmpegTest_ffmpegDecoder(
JNIEnv *env, jobject jobj, jstring jinputFilePath, jstring joutputFilePath) {
//将java->string类型->C字符串->char*
const char* cinputFilePath = env->GetStringUTFChars(jinputFilePath,NULL);
const char* coutputFilePath = env->GetStringUTFChars(joutputFilePath,NULL);
//第一步：注册所有组件
av_register_all();
//第二步：打开视频输入文件
//参数一：封装格式上下文->AVFormatContext->包含了视频信息(视频格式、大小等等...)
AVFormatContext* avformat_context = avformat_alloc_context();
//参数二：打开文件(入口文件)->url
int avformat_open_result = avformat_open_input(&avformat_context,cinputFilePath,NULL,NULL);
if (avformat_open_result != 0){
//获取异常信息
char* error_info;
av_strerror(avformat_open_result, error_info, 1024);
__android_log_print(ANDROID_LOG_INFO,"main","异常信息1：%s",error_info);
return;
}
//第三步：查找视频文件信息
//参数一：封装格式上下文->AVFormatContext
//参数二：配置
//返回值：0>=返回OK，否则失败
int avformat_find_stream_info_result = avformat_find_stream_info(avformat_context, NULL);
if (avformat_find_stream_info_result < 0){
//获取失败
char* error_info;
av_strerror(avformat_find_stream_info_result, error_info, 1024);
__android_log_print(ANDROID_LOG_INFO,"main","异常信息：%s",error_info);
return;
}
//第四步：查找解码器
//第一点：获取当前解码器是属于什么类型解码器->找到了视频流
//音频解码器、视频解码器、字幕解码器等等...
//获取视频解码器流引用->指针
int av_stream_index = -1;
for (int i = 0; i < avformat_context->nb_streams; ++i) {
//循环遍历每一流
//视频流、音频流、字幕流等等...
if (avformat_context->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){
//找到了
av_stream_index = i;
break;
}
}
if (av_stream_index == -1){
__android_log_print(ANDROID_LOG_INFO,"main","%s","没有找到视频流");
return;
}
//第二点：根据视频流->查找到视频解码器上下文->视频压缩数据
AVCodecContext* avcodec_context = avformat_context->streams[av_stream_index]->codec;
//第三点：根据解码器上下文->获取解码器ID
AVCodec* avcodec = avcodec_find_decoder(avcodec_context->codec_id);
if (avcodec == NULL){
__android_log_print(ANDROID_LOG_INFO,"main","%s","没有找到视频解码器");
return;
}
//第五步：打开解码器
int avcodec_open2_result = avcodec_open2(avcodec_context,avcodec,NULL);
if (avcodec_open2_result != 0){
char* error_info;
av_strerror(avcodec_open2_result, error_info, 1024);
__android_log_print(ANDROID_LOG_INFO,"main","异常信息：%s",error_info);
return;
}
//输出视频信息
//输出：文件格式
__android_log_print(ANDROID_LOG_INFO,"main","文件格式：%s",avformat_context->iformat->name);
//输出：解码器名称
__android_log_print(ANDROID_LOG_INFO,"main","解码器名称：%s",avcodec->name);
//第六步：循环读取视频帧，进行循环解码->输出YUV420P视频->格式：yuv格式
//读取帧数据换成到哪里->缓存到packet里面
AVPacket* av_packet = (AVPacket*)av_malloc(sizeof(AVPacket));
//输入->环境一帧数据->缓冲区->类似于一张图
AVFrame* av_frame_in = av_frame_alloc();
//输出->帧数据->视频像素数据格式->yuv420p
AVFrame* av_frame_out_yuv420p = av_frame_alloc();
//解码的状态类型(0:表示解码完毕，非0:表示正在解码)
int got_picture_ptr, av_decode_result, y_size, u_size, v_size, current_frame_index = 0;
//准备一个视频像素数据格式上下文
//参数一：输入帧数据宽
//参数二：输入帧数据高
//参数三：输入帧数据格式
//参数四：输出帧数据宽
//参数五：输出帧数据高
//参数六：输出帧数据格式->AV_PIX_FMT_YUV420P
//参数七：视频像素数据格式转换算法类型
//参数八：字节对齐类型(C/C++里面)->提高读取效率
SwsContext* sws_context = sws_getContext(avcodec_context->width,
avcodec_context->height,
avcodec_context->pix_fmt,
avcodec_context->width,
avcodec_context->height,
AV_PIX_FMT_YUV420P,
SWS_BICUBIC,NULL,NULL,NULL);
//打开文件
FILE* out_file_yuv = fopen(coutputFilePath,"wb+");
if (out_file_yuv == NULL){
__android_log_print(ANDROID_LOG_INFO,"main","文件不存在");
return;
}
//>=0:说明有数据，继续读取
//<0:说明读取完毕，结束
while (av_read_frame(avformat_context,av_packet) >= 0){
//解码什么类型流(视频流、音频流、字幕流等等...)
if (av_packet->stream_index == av_stream_index){
//扩展知识面(有更新)
//解码一帧视频流数据
//分析：avcodec_decode_video2函数
//参数一：解码器上下文
//参数二：一帧数据
//参数三：got_picture_ptr->是否正在解码(0:表示解码完毕，非0:表示正在解码)
//参数四：一帧压缩数据(对压缩数据进行解码操作)
//返回值：av_decode_result == 0表示解码一帧数据成功，否则失败
//av_decode_result = avcodec_decode_video2(avcodec_context,av_frame_in,&got_picture_ptr,av_packet);
//新的API操作
//发送一帧数据->接收一帧数据
//发送一帧数据
avcodec_send_packet(avcodec_context, av_packet);
//接收一帧数据->解码一帧
av_decode_result = avcodec_receive_frame(avcodec_context, av_frame_in);
//解码出来的每一帧数据成功之后，将每一帧数据保存为YUV420格式文件类型(.yuv文件格式)
if ( av_decode_result == 0 ){
//sws_scale：作用将视频像素数据格式->yuv420p格式
//输出.yuv文件->视频像素数据格式文件->输出到文件API
//参数一：视频像素数据格式->上下文
//参数二：输入数据
//参数三：输入画面每一行的大小
//参数四：输入画面每一行的要转码的开始位置
//参数五：每一帧数据高
//参数六：输出画面数据
//参数七：输出画面每一行的大小
sws_scale(sws_context,
(const uint8_t *const*)av_frame_in->data,
av_frame_in->linesize,
0,
avcodec_context->height,
av_frame_out_yuv420p->data,
av_frame_out_yuv420p->linesize);
//一帧一帧写入文件->yuv420p->视频像素数据格式
//第一点：分析yuv420p格式原理
//写入文件：按照像素点位置来进行写入->将av_frame_out_yuv420p一帧数据一个个字节读取
//普及一下YUV420格式(人对眼睛亮度敏感，对色度不敏感)
//Y代表：亮度
//UV代表：色度
//第二点：分析yuv420规则->计算机图像原理（听老师讲解于原理->扩展知识面）->直播技术
//yuv420规则一：Y结构表示一个像素点
//yuv420规则二：四个Y对应一个U和一个V（也就是四个像素点，对应一个U和一个V）
//第三点：分析Y和U、V大小计算原理
// y = 宽 * 高
// u = y / 4
// v = y / 4
y_size = avcodec_context->width * avcodec_context->height;
u_size = y_size / 4;
v_size = y_size / 4;
//第四点：写入文件
//写入->Y
//av_frame_in->data[0]:表示Y
fwrite(av_frame_in->data[0], 1, y_size, out_file_yuv);
//写入->U
//av_frame_in->data[1]:表示U
fwrite(av_frame_in->data[1], 1, u_size, out_file_yuv);
//写入->V
//av_frame_in->data[2]:表示V
fwrite(av_frame_in->data[2], 1, v_size, out_file_yuv);
current_frame_index++;
__android_log_print(ANDROID_LOG_INFO,"main","当前遍历第%d帧",current_frame_index);
}
}
}
//第七步：关闭解码组件->释放内存
av_packet_free(&av_packet);
//关闭流
fclose(out_file_yuv);
av_frame_free(&av_frame_in);
av_frame_free(&av_frame_out_yuv420p);
avcodec_close(avcodec_context);
avformat_free_context(avformat_context);
}
上述代码实现完成之后可以在pc端下载yuv player来直接播放，还有一点注意就是设置屏幕大小必须设置对，否则会出现花屏。关于如何在移动端实现播放本地yuv视频，可以参考视频编解码学习三 播放yuv格式视频
