目录
1 整体步骤
2 MediaCodec 使用的基本流程
3 设计
4 编解码实例分析
5 Android FFmpeg视频解码播放
6 从零实现一个H.264码流解析器
7 音视频同步
8 OpenSL ES音频解码播放
正文
1 整体步骤
模块之间数据（buffer）流程图。
1.1 编码：dequeueinputBuffer（从input缓冲队列申请empty buffer.左边的上虚线）---inputbuffer（拷贝mp4文件的一帧到empty buffer）
--queueInputBuffe(将inputbuffer放回codec)---dequeueOutputBuffer(从output缓冲区队列申请编解码后的buffer)--编码后的数据渲染--releaseOutputBuffer(放回到output缓冲区队列）
1.2 解码：dequeueinputBuffer（从input缓冲队列申请empty buffer）---inputbuffer（拷贝mp4文件的数据到empty buffer)---mediacodec（从input buffer 取一帧）
--dequeueOutputBuffer(从output缓冲区队列申请编解码后的buffer)--解码后的数据播放--releaseOutputBuffer(放回到output缓冲区队列)
2 MediaCodec 使用的基本流程
MediaCodec 的生命周期有三种状态：停止态-Stopped、执行态-Executing、释放态-Released。
停止状态（Stopped）包括了三种子状态：未初始化（Uninitialized）、配置（Configured）、错误（Error）。
执行状态（Executing）会经历三种子状态：刷新（Flushed）、运行（Running）、流结束（End-of-Stream
理解了queueInputBuffe作用，就理解了编解码流程.
1） mediaExtractor.setDataSource(path);
//extractor读取sampleData
int sampleSize = mediaExtractor.readSampleData(inputBuffer, 0);
2 ) decodec.queueInputBuffer(index, 0, sampleSize, mediaExtractor.getSampleTime(), 0);
//一直没搞懂queueInputBuffer的作用，主要是因为inputBuffer没搞懂。codec抽取了文件不就是解码了吗？都已经放入inputbuffer中了，还需要queueInputBuffer干什么？
实际这是两件事，两个主体，mediaExtractor and decodec 操作同一个inputBuffer;
mediaExtractor仅仅负责抽取sample到 input buffer，比如aac是1024. 没有编解码操作.仅仅是拷贝部分文件。
decodec是真正的编解码，将一帧中的aac，去header,变成pcm.并且将pcm放入queueoutputbuffer。
queueInputBuffer将input buffer放回codec,实现两件事，1） codec 开始编解码，结果放入outputbuffer 2）将inputbuffer重新入队
mediaextractor& queueInputBuffer
mediaextractor：input-source file，output--inputbuffer
queueInputBuffer:inputbuffer--outputbuffer (!!抽取sample的不是codec.也不是放入codec的inputbuffer就自动开始编解码，而是需要queueInputBuffer通知codec开始编解码)
notes: dequeueInputBuffer是典型的dequeue 队列的用法，从header取一个buffer.
queue & dequeue 是入队出队.两者都是codec做的.
3 设计
流程图
伪代码
- createByCodeName/createEncoderByType/createDecoderByType: （静态工厂构造MediaCodec对象）--生成MediaCodec，Uninitialized状态
- configure：（配置） -- configure状态
- start （启动）--处于Excuting状态 Flushed子状态,然后进入Running状态
- while(1) {
try{
- dequeueInputBuffer （从编解码器获取输入缓冲区buffer）
- queueInputBuffer （buffer被生成方client填满之后提交给编解码器）
- dequeueOutputBuffer （从编解码器获取输出缓冲区buffer）
- releaseOutputBuffer （消费方client消费之后释放给编解器）
} catch(Error e){
- error （出现异常 进入error状态）
}
}
- stop （编解码完成后，释放codec）
- release
MediaCodec 有已下解码相关的 API：
1）dequeueInputBuffer：若大于 0，则是返回填充编码数据的缓冲区的索引，该操作为同步操作；
返回一个input index
2）getInputBuffer：填充编码数据的 ByteBuffer 数组，结合 dequeueInputBuffer 返回值，可获取一个可填充编码数据的 ByteBuffer；
根据index 返回一个input ByteBuffer
3）queueInputBuffer ：应用将编码数据拷贝到 ByteBuffer 后，通过该方法告知 MediaCodec 已经填写的编码数据的缓冲区索引；
拷贝操作
4）dequeueOutputBuffer：若大于 0，则是返回填充解码数据的缓冲区的索引，该操作为同步操作；
返回一个output index
5）getOutputBuffer：填充解码数据的 ByteBuffer 数组，结合 dequeueOutputBuffer 返回值，可获取一个可填充解码数据的 ByteBuffer；
根据index,返回一个output ByteBuffer
6）releaseOutputBuffer：告诉编码器数据处理完成，释放 ByteBuffer 数据。
release output buffer。
补充：
a) release queueoutputbuffer
没有release queue inputbuffer,从上图可知，release inputbuffer是codec的工作.
b) //读取下一帧
mediaExtractor.advance();
在实践当中发现，发送端发送的视频宽高需要 16 字节对齐，因为在某些 Android 手机上解码器需要 16 字节对齐。
other:若非16字节对齐,dequeueOutputBuffer会有一次MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED.
而不是一上来就能成功解码一帧.
经测试发现：帧宽高非 16 字节对齐会比 16 字节对齐的慢 100 ms 左右
4 编解码实例分析
编解码分成同步和异步两种实现方法。
流程图比较给力.属于详细设计
//【解码步骤：1. 初始化，并启动解码器】
//【解码步骤：2. 将数据压入解码器输入缓冲】
//【解码步骤：3. 将解码好的数据从缓冲区拉取出来】
//【解码步骤：4. 渲染】
//【解码步骤：5. 释放输出缓冲】
//【解码步骤：6. 判断解码是否完成】
音视频硬解码流程：封装基础解码框架： https://www.jianshu.com/p/ff65ef5207ce 解码器
MediaCodec进行编解码AAC（文件格式转换） https://hejunlin.blog.csdn.net/article/details/103771289.
Android 音视频学习：使用 MediaCodec API 完成音频 AAC 硬编、硬解 https://my.oschina.net/u/4582396/blog/4384448
音视频开发之旅（六）MediaCodec硬编解流程与实践 https://zhuanlan.zhihu.com/p/268441151
5 Android FFmpeg视频编解码播放
FFmpeg 开发(02)：FFmpeg + ANativeWindow 实现视频解码播放 https://www.jianshu.com/p/1efd030e8cf7
Android FFmpeg视频解码播放：https://www.jianshu.com/p/d7c8f49d9ea4
6 从零实现一个H.264码流解析器
【从零实现一个H.264码流解析器】(一)：从码流中找到NALU https://mp.weixin.qq.com/s/7E0z-mRi4uURICm0RVXuxw
【从零实现一个H.264码流解析器】(二)：导入指数哥伦布解码实现并初步解析NALU https://mp.weixin.qq.com/s?__biz=MzI5Njc3OTk5NA==&mid=2247483958&idx=1&sn=7eeb49fa874115abd9237db2d4175fcd&chksm=ecbe6b83dbc9e295c058dea5c5915792377118b8d670fd6059a8b62c5ee70da69554e9f49edb&scene=21#wechat_redirect
【从零实现一个H.264码流解析器】(三)：解析序列参数集SPS的句法元素 https://mp.weixin.qq.com/s?__biz=MzI5Njc3OTk5NA==&mid=2247483961&idx=1&sn=175dcc1ce65659b24f4e09e2dfa11c2d&chksm=ecbe6b8cdbc9e29a57831664a9b89074a4e9829556601196c05b370858787519c807416f3cc3&scene=21#wechat_redirect
【从零实现一个H.264码流解析器】(四)：生成句法元素跟踪trace文件 https://mp.weixin.qq.com/s/ZPUg4wWU0CWlN7pp0DbspQ
【从零实现一个H.264码流解析器】(五)：解析图像参数集PPS的句法元素 https://mp.weixin.qq.com/s/GXkq88XrHW8Pug-376T5BA
【从零实现一个H.264码流解析器】(六)：解析片头部Slice_Header的句法元素 https://mp.weixin.qq.com/s/01-JTlph0mduW76N-zubaA
7 音视频同步
https://www.jianshu.com/p/ba8db84f8fe8
时间同步的原理如下：
codec 出来的pts 播放时间戳和system current time保存一致
进入解码前，获取当前系统时间，存放在mStartTimeForSync，一帧数据解码出来以后，计算当前系统时间和mStartTimeForSync的距离，也就是已经播放的时间，如果当前帧的PTS大于流失的时间，进入sleep，否则直接渲染
8 OpenSL ES音频解码播放
OpenSL 是音频编解码，ffmpeg是视频编解码. ffmpeg也可以音频编解码.
Android FFmpeg＋OpenSL ES音频解码播放 https://www.jianshu.com/p/28fc978721b4
用ffmpeg解码视频，用opensl es解码音频。用opensl 渲染音频，eg:混音(增加音效？)。小结opensl的使用steps good
other:常用格式YUV 4：2：0 下面link说的清楚: https://www.cnblogs.com/leisure_chn/p/10290575.html
QA:
codec 注意码率设置不成功，可能是帧率设置有问题
每当切换到前置摄像头的时候，界面会有部分卡在上一个界面.每当切换到前置摄像头的时候，界面会有部分卡在上一个界面
附录：
old：用MediaCodec解码->取出ByteBuffer->用OpenGLES处理->处理完毕后readPixels->得到图像数据->将图像数据推入MediaCodec编码.(readPixels非常耗时。480*840的视频，一帧耗时基本是40ms+)
new:MediaCodec解码视频直接解码到Surface上->通过OpenGLES处理->又通过Surface进行编码
(无需关注解码出来的数据的格式了，而且应用层也不必自己去将原始数据导入GPU以及将处理后的数据导出GPU了，这些工作可以都丢给Android SDK去做)
5 Android音视频硬编码：生成一个MP4:
https://www.jianshu.com/p/bfdeac7da147
code实现完全符合标准设计流程：先变量,接口。然后基类核心函数。然后实现av子类. 然后render独立线程。最后activity调用线程池运行子类。
实现：
1 基类实现
1）. 定义编码器变量
2） 初始化编码器 （定义接口）
3）. 开启编码循环 ：encode实现的核心,使用codec实现。这样子类负责配置就可以了.
4）. 拉取数据 ：将codec出来的数据，writeData到mp4文件
2、音频/视频编码器
configEncoder ，addTrack，writeVideoData
3、整合
1 ) 主线程
从系统获取surface
override fun surfaceCreated(holder: SurfaceHolder) {
mSurface = holder.surface
mThread.onSurfaceCreate()
}
decodeOneFrame --notifySwap通知渲染线程render --渲染之后encodeOneFrame
2 ) 渲染线程：initEGL，createEGLSurface
mDrawers.forEach { it.draw() }
mEGLSurface?.setTimestamp(mCurTimestamp)
mEGLSurface?.swapBuffers()
3 ) activity：
threadPool.execute(videoEncoder) //线程池运行子类
