音视频开发入门

本文整理自卢俊的演讲，目标读者是对音视频开发感兴趣但是又不知道如何下手的初学者们，希望对大家有所帮助。

无论是 Windows、Linux、Android 还是 iOS 开发，都是基于操作系统提供的 API 完成特定需求的实现。主要是系统的 API 和特性不同：编程语言不同，Windows/Linux 以 C/C++ 为主，Android 以 Java 为主，iOS 以 Object C 为主等等。但无论什么平台，他们的学习曲线其实是类似的，都要经历差不多如下的环节：

1 学习对应平台的编程语言，如：C/C++，Java，Object C，Javascript 等
2 熟悉对应平台提供的 API，如：UI 库，网络，文件，数据库，图片处理，多媒体处理等等
3 掌握平台相关的特性、框架和原理，如：Windows 的 WINSOCK，ODBC，WPF 等
4 Unix 的设计哲学，Android 的四大组件，iOS 的 MVC 模式等等通过具体的项目，熟悉和练手，达到可完成任意功能的开发。

练好基本功后，需要在具体的业务领域，你可以慢慢沉淀下来，用自己的努力和时间换来对领域知识的深入理解和积累，逐渐从一个开发小白走向最懂这个行业的专家。

网络安全、音视频、智能硬件、深度学习、大数据其他（比如：金融、通信等）

音视频开发包括哪些内容？
要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

采集：它解决的是，数据从哪里来的问题
渲染：它解决的是，数据怎么展现的问题
处理：它解决的是，数据怎么加工的问题
传输：它解决的是，数据怎么共享的问题

每一个门类，都可以深挖，衍生出一个又一个充满技术挑战的话题，比如：如何更高效地渲染画面、如何提高音视频的压缩比，如何优化弱网下的音视频数据传输等等。
音视频开发的技术积累，带着问题去 Google，带着任务去实践，从上面说的 4 个方向，逐个探索一下，有哪些知识点，是要我们去了解和掌握的。

2.1 采集

图像、视频最初都是来自摄像头，而音频最初都是来自麦克风，因此，做音视频采集，就要掌握如下的技术知识：
a. 系统的摄像头采集接口是什么，怎么用？

Windows：DirectShow Mediafoundation
Linux：V4L2
Android：Camera
iOS：AVCaptureSession

b. 系统的摄像头采集的参数怎么配置，都是什么含义？
比如：分辨率、帧率、预览方向、对焦、闪光灯等

c. 系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别？
比如：图片：JPEG；视频数据：NV21，NV12，I420 等

d. 系统的麦克风采集接口是什么，怎么用？

Windows：DirectShow
Linux：ALSA & OSS
Android：AudioRecord
iOS：Audio Unit

e. 系统的麦克风采集参数怎么配置，都是什么含义？
采样率、通道号、位宽等

f. 系统的麦克风输出的音频数据，是什么格式？
PCM

2.2 渲染

图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识：

a. 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的？

Windows：DirectDraw, Direct3D, GDI，OpenGL 等
Linux： GDI， OpenGL 等
Android：ImageView，SurfaceView，TextureView，OpenGL 等
iOS： CoreGraphics，OpenGL 等

b. 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据

Windows：DirectSound 等
Linux：ALSA & OSS 等
Android：AudioTrack 等
iOS： AudioQueue 等

2.3 处理

图像和音视频的加工，除了系统的 API，大多数都会依赖一些跨平台的第三方库的，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了，这些库包括但不限于.

a. 图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等
b. 视频编解码：x264，OpenH264，ffmpeg 等
c. 音频处理：speexdsp，ffmpeg 等
d.音频编解码：libfaac，opus，speex，ffmpeg 等

因此，学习和掌握这些第三方库的使用，非常有必要。

2.4 传输

研究音视频传输，其实就是在研究协议，具体有哪些协议呢？

a. 音视频在传输前，怎么打包的，如：FLV，ts，mpeg4 等
b. 直播推流，有哪些常见的协议，如：RTMP，RSTP 等
c. 直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等
d. 基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等

互联网环境下的音视频的传输，是一个非常有挑战和价值的方向，为了解决弱网下的传输延时、卡顿，提高用户体验，整个业界都在不断地进行着深入的探索和优化。