FFmpeg - Android 视频播放器

本文的内容是基于《FFmpeg - 打造一款万能的音乐播放器》来实现的，源码的地址在我个人的 github 上。我打算再新建一个 VideoPlayer 项目用来实现视频播放，因此本文的流程大致如下：整合音乐播放器项目，对项目架构进行调整，视频解码播放，音视频同步，陆续完善封装 SDK 。

1. 整合音乐播放器项目

为了方便大家学习，我们先保留音乐播放器项目，然后把音乐播放器的代码复制过来，在这基础上再建一个新的项目 VideoPlayer。在实际开发的过程中可以不用新建两个项目，根据具体的业务逻辑来取舍就好。不过还是想提醒一下大家，如果项目中只有音频相关的业务逻辑，最好去裁剪一下 so 库。我们也可以把解码器做成动态加载，当然这属于优化的内容了，后面我们也会讲讲关于 so 动态加载与动态修复相关的内容。关于音频播放器未实现的功能，我们统一到后面再一起来完善，大家可以先把最终效果代码拿去，自己先研究研究。

2. 对项目架构进行调整

我们现在想加上视频的功能，那么对于视频和音频解码的部分，就会有很多冗余的代码，我们势必需要进行抽离复用。因此我们打算新建一个 DZMedia.cpp 抽象类，把原来音频解码的线程提取到 DZFFmpeg.cpp 中来。之前所学的设计模式，也要开始用上来了。

/**
 * 基类，公共内容
 */
class DZMedia {
public:
    /**
     * 当前流的角标（音频/视频/字幕）
     */
    int streamIndex;
    /**
     * 解码器上下文
     */
    AVCodecContext *pCodecContext = NULL;
    /**
     * 回调 Java 层的 Call
     */
    JNIPlayerCall *pPlayerCall = NULL;
    /**
     * 播放状态
     */
    DZPlayStatus *pPlayStatus = NULL;
    /**
     * AVPacket 队列
     */
    AVPacketQueue *pPacketQueue = NULL;
    /**
     * 整个视频的时长
     */
    int duration = 0;
    /**
     * 当前播放的时长
     */
    double currentTime = 0;
public:
    DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall);

    ~DZMedia();

public:
    /**
     * 播放方法，纯虚函数
     */
    virtual void play() = 0;

    /**
     * 解析公共的解码器上下文
     */
    virtual void analysisStream(ThreadType threadType, AVFormatContext *pFormatContext);

    /**
     * 准备解析数据过程中出错的回调
     * @param threadType 线程类型
     * @param errorCode 错误码
     * @param errorMsg 错误信息
     */
    void callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg);

    /**
     * 释放资源
     */
    void release();
};

DZMedia::DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall) {
    this->streamIndex = streamIndex;
    this->pPlayStatus = pPlayStatus;
    this->pPlayerCall = pPlayerCall;
    pPacketQueue = new AVPacketQueue(pPlayStatus);
}

DZMedia::~DZMedia() {
    release();
}

void DZMedia::analysisStream(ThreadType threadType, AVFormatContext *pFormatContext) {
    AVCodecParameters *pCodecParameters = pFormatContext->streams[streamIndex]->codecpar;
    AVCodec *pCodec = avcodec_find_decoder(pCodecParameters->codec_id);
    if (!pCodec) {
        LOGE("Can't find audio decoder");
        callPlayerJniError(threadType, FIND_AUDIO_DECODER_ERROR_CODE,
                "Can't find audio decoder.");
        return;
    }

    pCodecContext = avcodec_alloc_context3(pCodec);
    int codecContextParametersRes = avcodec_parameters_to_context(pCodecContext, pCodecParameters);
    if (codecContextParametersRes < 0) {
        LOGE("codec parameters to_context error :%s", av_err2str(codecContextParametersRes));
        callPlayerJniError(threadType, codecContextParametersRes,
                av_err2str(codecContextParametersRes));
        return;
    }

    int codecOpenRes = avcodec_open2(pCodecContext, pCodec, NULL);
    if (codecOpenRes < 0) {
        LOGE("codec open error : %s", av_err2str(codecOpenRes));
        callPlayerJniError(threadType, codecOpenRes, av_err2str(codecOpenRes));
        return;
    }

    duration = pFormatContext->duration / AV_TIME_BASE;
}


void DZMedia::callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg) {
    release();
    if (pPlayerCall != NULL) {
        pPlayerCall->onCallError(threadType, errorCode, errorMsg);
    }
}

void DZMedia::release() {
    if (pCodecContext != NULL) {
        avcodec_close(pCodecContext);
        avcodec_free_context(&pCodecContext);
        pCodecContext = NULL;
    }

    if (pPacketQueue != NULL) {
        delete (pPacketQueue);
        pPacketQueue = NULL;
    }
}

3. 视频解码播放

视频的解码与音频的解码流程大致一致，但需要考虑能否硬解码，关键就是用什么方式渲染的问题了。目前有两种比较主流的方式，一种就是用纯原声 SurfaceView ，一种是用 GLSurfaceView 渲染。如果用 GLSurfaceView 去渲染，我们势必需要了解学习 OpenGLES ，这需要一定的学习成本。我们先绕过去直接采用 SurfaceView 来绘制。对 OpenGL 感兴趣的同学可以先看下 google 官方的例子 gles3jni ，后面我也会分享关于 OpenGL 的一些知识，大家不妨先去了解几个问题：

OpenGL 是什么？
OpenGL 可以用来干什么？
OpenGL 与 OpenGLES 有什么关系？
为什么要用 OpenGL 有哪些好处？
应该如何学 OpenGL 有哪些难处？

  //--------------- 硬解码相关 start ---------------
  private static final Map<String, String> mCodecMap = new HashMap<>(2);

  static {
    /**
     "video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)
     "video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)
     "video/avc" - H.264/AVC video
     "video/hevc" - H.265/HEVC video
     "video/mp4v-es" - MPEG4 video
     "video/3gpp" - H.263 video
     "audio/3gpp" - AMR narrowband audio
     "audio/amr-wb" - AMR wideband audio
     "audio/mpeg" - MPEG1/2 audio layer III
     "audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)
     "audio/vorbis" - vorbis audio
     "audio/g711-alaw" - G.711 alaw audio
     "audio/g711-mlaw" - G.711 ulaw audio
    */
    mCodecMap.put("h264", "video/avc");
    mCodecMap.put("h265", "video/hevc");
  }

  private static final String findMediaCodecName(String codeName) {
    if (mCodecMap.containsKey(codeName)) {
      return mCodecMap.get(codeName);
    }
    return "";
  }

  /**
  * 是否支持硬解码，Call from jni
  *
  * @param codeName ffmpeg 的解码器名字
  * @return 是否支持硬解码
  */
  private final boolean isSupportStiffCodec(String codeName) {
    int codecCount = MediaCodecList.getCodecCount();
    for (int i = 0; i < codecCount; i++) {
        String[] supportedTypes = MediaCodecList.getCodecInfoAt(i).getSupportedTypes();
        for (String type : supportedTypes) {
            if (type.equals(findMediaCodecName(codeName))) {
                return true;
            }
        }
    }
    return false;
  }
  //--------------- 硬解码相关  end  ---------------

  //获取 nativeWindow 窗体
  ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);
  //设置缓冲区的属性（宽、高、像素格式）
  ANativeWindow_setBuffersGeometry(nativeWindow, pCodecContext->width, pCodecContext->height, WINDOW_FORMAT_RGBA_8888);
  //绘制时的缓冲区
  ANativeWindow_Buffer window_buffer;
  // lock
  ANativeWindow_lock(nativeWindow, &window_buffer, NULL);
  // 转换成 rgba
  sws_scale(pSwsContext, pFrame->data, pFrame->linesize, 0, pFrame->height, rgbaFrame->data, rgbaFrame->linesize);
  // 把数据拷贝到 window_buffer 中
  memcpy(window_buffer.bits, buffer, pCodecContext->width * pCodecContext->height * 4);
  //unlock
  ANativeWindow_unlockAndPost(nativeWindow);

4. 音视频的同步

关于音视频的同步问题，我在网上查了一些资料，实现方案需要大量的变量和复杂的逻辑，个人推荐大家去看下 ffmpeg 的源码，看看官方是怎么做音视频同步的。这里我给出一套个人的解决方案，获取音视频的 pts 差值，根据差值来设置视频的睡眠时间，如果视频快了就休眠久点，视频慢了就休眠短点，达到视频和音频的相对同步。这里有两个概念：
pts：显示时间戳，用来告诉播放器该在什么时候显示这一帧数据。
time_base：时间度量单位（时间基）。

/**
 * 获取当前视频帧应该休眠的时间
 * @param pFrame 当前视频帧
 * @return 睡眠时间
 */
double DZVideo::getFrameSleepTime(AVFrame *pFrame) {
    // 如果 < 0 那么还是用之前的时间
    double times = pFrame->pts * av_q2d(timeBase);
    if (times > currentTime) {
        currentTime = times;
    }
    // 音频和视频之间的差值
    double diffTime = pAudio->currentTime - currentTime;

    // 第一次控制，0.016s ～ -0.016s
    if (diffTime > 0.016 || diffTime < -0.016) {
        if (diffTime > 0.016) {
            delayTime = delayTime * 2 / 3;
        } else if (diffTime < -0.016) {
            delayTime = delayTime * 3 / 2;
        }

        // 第二次控制，defaultDelayTime * 2 / 3 ～ defaultDelayTime * 3 / 2
        if (delayTime < defaultDelayTime / 2) {
            delayTime = defaultDelayTime * 2 / 3;
        } else if (delayTime > defaultDelayTime * 2) {
            delayTime = defaultDelayTime * 3 / 2;
        }
    }

    // 第三次控制，0～defaultDelayTime * 2
    if (diffTime >= 0.25) {
        delayTime = 0;
    } else if (diffTime <= -0.25) {
        delayTime = defaultDelayTime * 2;
    }

    // 假设1秒钟25帧，不出意外情况，delayTime 是 0.02 , 0.04 , 0.06
    return delayTime;
}

这种同步的方式虽说是简单了点，但我测试过很多视频都是没有问题的，大家也可以多测试一下，反正同步的思想都差不多，参数我们可以具体调整。

视频地址：https://pan.baidu.com/s/1OqGV0r7IfdNaXRipiFwBZA
视频密码：jifh

FFmpeg - Android 视频播放器

1. 整合音乐播放器项目

2. 对项目架构进行调整

3. 视频解码播放

4. 音视频的同步

推荐阅读更多精彩内容