最近由于项目需要，研究了直播的推拉流以及滤镜叠加的效果，在此记录一下一些小的细节。
前期做了直播SDK的调研，发现七牛云的SDK更符合项目需求一点，所以，最终选择了七牛云的SDK。
推流
七牛云官方的帮助文档有点坑，sdk更新了，但是帮助文档没有更新，所以去看看七牛云Demo会更方便上手一点。
-
导入SDK
导入SDK - 初始化
public class MyApp extends Application{
@Override
public void onCreate() {
super.onCreate();
StreamingEnv.init(getApplicationContext());
}
}
- manifest中配置权限
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE"/>
<uses-permission android:name="android.permission.INTERNET"/>
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
<uses-permission android:name="android.permission.RECORD_AUDIO"/>
<uses-permission android:name="android.permission.CAMERA"/>
<uses-permission android:name="android.permission.WAKE_LOCK"/>
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"/>
<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS"/>
<uses-feature android:name="android.hardware.camera.autofocus"/>
<uses-feature
android:glEsVersion="0x00020000"
android:required="true"/>
- 直播类布局
<com.qiniu.pili.droid.streaming.widget.AspectFrameLayout
android:id="@+id/cameraPreview_afl"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:layout_alignParentTop="true"
android:layout_centerHorizontal="true">
<com.leo.livestreamingdemo.CameraPreviewFrameView
android:visibility="gone"
android:id="@+id/cameraPreview_surfaceView"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:layout_gravity="center"/>
<android.opengl.GLSurfaceView
android:id="@+id/glSurfaceView"
android:layout_width="match_parent"
android:layout_height="match_parent"/>
</com.qiniu.pili.droid.streaming.widget.AspectFrameLayout>
- 推流有三个比较重要的类：
- StreamingProfile （推流参数设置）
- CameraStreamingSetting （所有摄像头相关的配置）
- MediaStreamingManager （推流 SDK 的核心类）
这里说明一下，如果需要自定义滤镜的话，从七牛云SDK中获取相机的原始流数据YUV做转换，叠加滤镜效果再推流是件很麻烦的事情。首先你要了解图形学和C的知识，其中涉及到很多转码解码的操作，只有通过native去操作openGL的方式才能达到可使用的标准，不然就会很卡顿，即使你把耗时操作放在子线程中也是一样的。所以最佳的方式是通过native操作openGL利用CPU去叠加滤镜效果。滤镜效果的实现在以后的文章中会做详细的介绍，这篇文章是只是简单的实现直播。
- StreamingProfile
streamingProfile = new StreamingProfile();
try {
streamingProfile
/*-----------------通过setVideoQuality设置推流视频部分质量参数------------
Level Fps Video Bitrate(Kbps)
VIDEO_QUALITY_LOW1 12 150
VIDEO_QUALITY_LOW2 15 264
VIDEO_QUALITY_LOW3 15 350
VIDEO_QUALITY_MEDIUM1 30 512
VIDEO_QUALITY_MEDIUM2 30 800
VIDEO_QUALITY_MEDIUM3 30 1000
VIDEO_QUALITY_HIGH1 30 1200
VIDEO_QUALITY_HIGH2 30 1500
VIDEO_QUALITY_HIGH3 30 2000
*/
.setVideoQuality(StreamingProfile.VIDEO_QUALITY_MEDIUM2)
/*-----------------通过setAudioQuality设置推流音频部分质量参数------------
Level Audio Bitrate(Kbps) Audio Sample Rate(Hz)
AUDIO_QUALITY_LOW1 18 44100
AUDIO_QUALITY_LOW2 24 44100
AUDIO_QUALITY_MEDIUM1 32 44100
AUDIO_QUALITY_MEDIUM2 48 44100
AUDIO_QUALITY_HIGH1 96 44100
AUDIO_QUALITY_HIGH2 128 44100
*/
.setAudioQuality(StreamingProfile.AUDIO_QUALITY_MEDIUM2)
//自定义设置推流分辨率，此优先级高于setEncodingSizeLevel
// .setPreferredVideoEncodingSize(960, 544)
/*---------------设置推流的分辨率-------------------------------------------
Level Resolution(16:9) Resolution(4:3)
VIDEO_ENCODING_HEIGHT_240 424 x 240 320 x 240
VIDEO_ENCODING_HEIGHT_480 848 x 480 640 x 480
VIDEO_ENCODING_HEIGHT_544 960 x 544 720 x 544
VIDEO_ENCODING_HEIGHT_720 1280 x 720 960 x 720
VIDEO_ENCODING_HEIGHT_1088 1920 x 1088 1440 x 1088
*/
.setEncodingSizeLevel(StreamingProfile.VIDEO_ENCODING_HEIGHT_480)
/*--------------通过setEncoderRCMode设置质量优先还是码率优先----------------
EncoderRCModes.QUALITY_PRIORITY: 质量优先，实际的码率可能高于设置的码率
EncoderRCModes.BITRATE_PRIORITY: 码率优先，更精确地码率控制
默认值为 EncoderRCModes.QUALITY_PRIORITY*/
.setEncoderRCMode(StreamingProfile.EncoderRCModes.BITRATE_PRIORITY)
/*--------------通过AVProfile参数自定义推流音视频码率帧率--------------------
自定义设置音频采样率为44100Hz, 码率为96 * 1024 bps
自定义设置视频帧率为30, 码率为1000 * 1024 bps,最大帧率为48
setAVProfile 的优先级高于 Quality，也就是说，当同时调用了 Quality 和 AVProfile 的设置，AVProfile 会覆盖 Quality 的设置值
.setAVProfile(avProfile)*/
.setDnsManager(getMyDnsManager())
.setAdaptiveBitrateEnable(true)
.setFpsControllerEnable(true)
.setStreamStatusConfig(new StreamingProfile.StreamStatusConfig(3))
/* 推流地址*/
.setPublishUrl(publishurl)
/*-------------------设置推流播放端方向-------------------------------
设置ENCODING_ORIENTATION.LAND推流播放端会横屏播放
设置ENCODING_ORIENTATION.PORT推流播放端会竖屏播放
.setEncodingOrientation(StreamingProfile.ENCODING_ORIENTATION.PORT)*/
.setSendingBufferProfile(new StreamingProfile.SendingBufferProfile(0.2f, 0.8f, 3.0f, 20 * 1000));
- CameraStreamingSetting
mCameraStreamingSetting = new CameraStreamingSetting();
mCameraStreamingSetting
.setCameraId(Camera.CameraInfo.CAMERA_FACING_FRONT)
.setContinuousFocusModeEnabled(true)
.setCameraPrvSizeLevel(CameraStreamingSetting.PREVIEW_SIZE_LEVEL.LARGE)
.setCameraPrvSizeRatio(CameraStreamingSetting.PREVIEW_SIZE_RATIO.RATIO_16_9);
- MediaStreamingManager
刚刚提到了叠加滤镜效果，在七牛云的SDK中自带了美颜的特效。如果按照以上步骤来初始化推流的一些参数的话，相机就是使用的七牛云自带的相机，你不好去操作camera中的流数据。
public interface StreamingPreviewCallback {
public boolean onPreviewFrame(byte[] bytes, int width, int height, int rotation, int fmt, long tsInNanoTime);
}
这里去操作取到的byte数组很耗时，唯一觉得靠谱的方式就是通过native去调用openGL叠加。
这一点七牛云api要开放一点，自定义滤镜效果的话就是用StreamingManager。
StreamingManager 是类似 MediaStreamingManager 的一个类，两者的区别是：StreamingManager 不带采集，仅包含编码、封包推流模块，从功能层面可以理解为： MediaStreamingManager = 采集模块 + (处理模块) + StreamingManager。
这里有点需要注意的是，七牛云推流时有一个鉴权的机制，你推流时需要先请求服务器，由服务器给你返回你的推流地址，笔者使用的是不需要鉴权的推流地址。关于鉴权可以参照七牛云推流端的demo。
streamingManager = new MediaStreamingManager(this, mCameraPreviewAfl, mGlSurfaceView,
/* hw codec ----- soft codec */
AVCodecType.HW_VIDEO_SURFACE_AS_INPUT_WITH_HW_AUDIO_CODEC);
- MicrophoneStreamingSetting (可选)
/*------------------------麦克风参数配置-----------------------------*/
mMicrophoneStreamingSetting = new MicrophoneStreamingSetting();
/*希望增加蓝牙麦克风的支持,可以设置:*/
mMicrophoneStreamingSetting.setBluetoothSCOEnabled(false);
- 准备推流
streamingManager.prepare(mCameraStreamingSetting, mMicrophoneStreamingSetting, streamingProfile);
streamingManager.setStreamingStateListener(this);
然而真正开始推流是在onStateChanged这个回调中：
@Override
public void onStateChanged(StreamingState streamingState, Object o) {
Log.e(TAG, "StreamingState streamingState:" + streamingState + ",extra:" + o);
switch (streamingState) {
case PREPARING:
Log.e(TAG, "onStateChanged: " + "准备" );
break;
case READY:
// start streaming when READY
new Thread(new Runnable() {
@Override
public void run() {
if (streamingManager != null) {
boolean b = streamingManager.startStreaming();
Log.e(TAG, "run: " + "推流" + b);
}
}
}).start();
break;
case CONNECTING:
Log.e(TAG, "onStateChanged: " + "已连接");
break;
case STREAMING:
Log.e(TAG, "onStateChanged: " + "已发送");
// The av packet had been sent.
break;
case SHUTDOWN:
Log.e(TAG, "onStateChanged: " + "推流完成");
// The streaming had been finished.
break;
case IOERROR:
Log.e(TAG, "onStateChanged: " + "IO错误");
// Network connect error.
break;
case SENDING_BUFFER_EMPTY:
Log.e(TAG, "onStateChanged: " + "缓冲区数据为空");
break;
case SENDING_BUFFER_FULL:
Log.e(TAG, "onStateChanged: " + "缓冲区数据存满");
break;
case AUDIO_RECORDING_FAIL:
Log.e(TAG, "onStateChanged: " + "录音失败");
// Failed to record audio.
break;
case OPEN_CAMERA_FAIL:
Log.e(TAG, "onStateChanged: " + "打开相机失败");
// Failed to open camera.
break;
case DISCONNECTED:
Log.e(TAG, "onStateChanged: " + "断开连接");
// The socket is broken while streaming
break;
}
}
值得注意的是推流操作需要在子线程中进行。其次是需要在生命周期中及时的释放掉
@Override
protected void onResume() {
super.onResume();
streamingManager.resume();
}
@Override
protected void onPause() {
super.onPause();
// You must invoke pause here.
streamingManager.pause();
}
拉流端和叠加滤镜效果后面更新，实例代码LiveStreamDemo已上传至github
