深入浅出，Andorid 端屏幕采集技术实践
随着全球产业链线上化和数字化的加速，移动端实时屏幕共享在各行各业场景下都有了广泛的应用，比如在线教育、视频会议、远程业务咨询、手游直播。而屏幕采集则是实现实时屏幕共享流程中的第一步，本篇技术分享就来跟大家讲讲拍乐云在 Andorid 端屏幕采集的经验实践。
背景
Android 从 4.0 开始就提供了手机录屏方法，但是需要 root 权限。从 5.0 开始，Google 开放了系统录屏API：MediaProjection 和 MediaProjectionManager，不需要 root 权限，但是会弹出录屏权限申请框，用户同意后才能开始录屏，类似 Android6.0 之后权限申请流程。
鉴于目前市面上5.0以下的 Android 手机占比很低且屏幕采集需要 root 权限实现复杂，接下来我们主要介绍 Android5.0 及以上版本的屏幕采集原理。
试想一下，一套完整的屏幕采集流程应该是怎样的？屏幕数据源（生产者）在缓冲区产生数据，屏幕数据消费者从缓冲区提取数据使用。不同的消费者可以实现不同的功能，比如录屏保存和录屏直播（屏幕共享）。这些关键的角色在Android 端又是由谁来扮演呢？
VirtualDisplayVirtualDisplay 是 Android 上的虚拟显示器。本文里VirtualDisplay 的作用就是抓取屏幕上显示的内容，是屏幕数据的生产者。
Surface 在 Android 的窗口实现里，Surface 对应了一块屏幕数据缓冲区，屏幕数据生产者可以在 Surface 上生产数据，消费者则从 Surface 中提取数据使用。
屏幕采集流程
介绍完以上关键角色，我们大致可以画出一套屏幕采集流程图：
下面逐步介绍代码实现。
一、获取MediaProjection
首先需要获取 MediaProjectionManager 服务，然后通过 MediaProjectionManager 服务，获取一个申请屏幕采集权限的 Intent 并启动屏幕采集申请权限界面：
mediaProjectionManager = (MediaProjectionManager) getSystemService(MEDIA_PROJECTION_SERVICE);
Intent intent = mediaProjectionManager.createScreenCaptureIntent();
startActivityForResult(intent, SCREEN_CAPTURE_REQUEST_CODE);启动的屏幕采集权限申请界面如下：
用户允许（点击立即开始）后，在 onActivityResult 回调里根据返回的resultCode和 data 获取 MediaProjection:
protected void onActivityResult(int requestCode, int resultCode, Intent data) {
super.onActivityResult(requestCode, resultCode, data);
if (requestCode == SCREEN_CAPTURE_REQUEST_CODE && resultCode == Activity.RESULT_OK) {
mediaProjection = mediaProjectionManager.getMediaProjection(resultCode, data);
}
}需要特别注意的是，在 targetSdkVersion 大于等于29时，系统加强了对屏幕采集的限制，必须先启动相应的前台 Service，才能正常调用 getMediaProjection 方法，否则会抛异常：
java.lang.SecurityException: Media projections require a foreground service
of type ServiceInfo.FOREGROUND_SERVICE_TYPE_MEDIA_PROJECTION查看系统源码发现以下条件语句如果都为 true 则抛出以上异常：
if (REQUIRE_FG_SERVICE_FOR_PROJECTION //1.默认为true
&& requiresForegroundService() //2.当前APP需要启动前台Service
&& !mActivityManagerInternal.hasRunningForegroundService( //3.当前应用没有启动前台service
uid, ServiceInfo.FOREGROUND_SERVICE_TYPE_MEDIA_PROJECTION)) {
throw new SecurityException("Media projections require a foreground service"
+ " of type ServiceInfo.FOREGROUND_SERVICE_TYPE_MEDIA_PROJECTION");
}
//APP TargetSdkVersion大于等于29并且不是特权应用（特权应用一般是系统应用）,则返回true（需要启动前台service）
boolean requiresForegroundService () {
return mTargetSdkVersion >= Build.VERSION_CODES.Q && !mIsPrivileged;
}前台 Service 配置参考如下：
<uses-permission android:name="android.permission.FOREGROUND_SERVICE"/>
<!--Service命名自定义，这里仅供参考-->
<service
android:name=".ScreenCapturerService"
android:enabled="true"
android:foregroundServiceType="mediaProjection"/>二、构造Surface
1.如果屏幕采集数据用来录制视频，那么消费者可以是 MediaRecoder,相应地 Surface 由 MediaRecoder 提供：
Surface surface = mediaRecorder.getSurface();2.如果屏幕采集数据用来屏幕共享（录屏直播），那么消费者可以是类似 MediaCodec 这样的编码器，相应地 Surface 由 MediaCodec 提供：
Surface surface = mediaCodec.createInputSurface();3.如果需要将屏幕采集数据显示在UI界面 SurfaceView 上的话，Surface可以通过以下方式生成：
SurfaceView surfaceView = (SurfaceView) findViewById(R.id.surface);
Surface surface = surfaceView.getHolder().getSurface();4.如果想要更加灵活的掌控整个屏幕采集流程，Surface 还可以通过 SurfaceTexture 生成：
SurfaceTexture surfaceTexture = new SurfaceTexture(textureId);
surfaceTexture.setOnFrameAvailableListener(new OnFrameAvailableListener() {
@Override
public void onFrameAvailable(SurfaceTexture surfaceTexture) {
}
}, handler);
Surface surface = new Surface(surfaceTexture);这里简单介绍下SurfaceTexture 。SurfaceTexture 可以用来捕获视频流中的图像帧，当 SurfaceTexture 中有数据更新时，会触发onFrameAvailable 回调，此时可以调用 updateTexImage 方法从视频流数据中更新当前数据帧。
三、创建VirtualDisplay
MediaProjection 有现成的API可以调用：
public VirtualDisplay createVirtualDisplay(String name, int width, int height, int dpi,
int flags, Surface surface, VirtualDisplay.Callback callback, Handler handler) {
DisplayManager dm = (DisplayManager) mContext.getSystemService(Context.DISPLAY_SERVICE);
return dm.createVirtualDisplay(this, name, width, height, dpi, surface, flags, callback,
handler, null /* uniqueId */);
}参数说明文档如下：
各参数 Android 官方文档都有较详细的说明，其中 flag 和 surface 这里再额外说明下：
flag是VirtualDisplay的标记位，一般取VIRTUAL_DISPLAY_FLAG_PUBLIC即可；
surface 也就是上文提到的屏幕数据缓冲区，一般由消费者提供。
四、屏幕采集数据处理
我们以第二步中通过 SurfaceTexture 生成的 Surface 为例。当 SurfaceTexture 中有数据更新时，会触发 onFrameAvailable 回调，我们可以在该回调里对数据进行特定的处理。
@Override
public void onFrameAvailable(SurfaceTexture surfaceTexture) {
dealTextureFrame();
}
private void dealTextureFrame() {
...
surfaceTexture.updateTexImage();
float[] transformMatrix = new float[16];
surfaceTexture.getTransformMatrix(transformMatrix);
...
}五、分辨率、帧率控制
屏幕共享（录屏直播）时，高分辨率代表着清晰度，高帧率代表着流畅度。鱼和熊掌，往往不可兼得，尤其是在网络、设备性能受限的情况下。
当手机屏幕在某个界面静止或者界面低速运动时，我们以较低的帧率抓取屏幕即可让接收方观看时不至于产生卡顿掉帧感，这时可以适当提升屏幕采集分辨率，让画质更清晰；相反如果是游戏直播等屏幕界面快速运动等场景，则需要以较高帧率抓取屏幕内容才能让接收方有顺滑观看体验，但在资源受限情况下，可能需要牺牲部分清晰度为代价。
屏幕采集分辨率的控制较为简单，在第三步创建 VirtualDisplay 时，传入需要的 width 和 height 值即可。
屏幕采集帧率的上限取决以 Android 设备的屏幕刷新率，下限是0，即丢弃所有返回数据不处理。采集帧率并不是越高越好，够用就行。比如在低端机上，就算以较高帧率采集屏幕数据，但受限于机器编解码能力，实际上屏幕传输的帧率达不到采集帧率，反而会消耗过多系统资源导致发热、卡顿等现象。这时候就需要适当降低采集帧率。还是以第二步中通过 SurfaceTexture 生成的Surface 为例，在 onFrameAvailable 回调里，以特定算法有规律地丢弃部分数据，从而降低采集帧率。
六、横竖屏切换
横竖屏切换的场景在游戏直播中屡见不鲜。比如王者荣耀的主播切换账号时，需要先kill掉王者荣耀 APP 退到手机主界面，然后再打开王者荣耀重新登录，经历了从横屏到竖屏再回到横屏的切换。
屏幕采集当然也需要根据不同的横竖屏模式来做动态调整。调整的前提是如何感知到横竖屏模式的变化。
如果是监听手机物理方向上的翻转，使用 OrientationEventListener 即可。但是针对某些强制横屏的 APP，比如王者荣耀，将手机平放在水平桌面上直接打开这些 APP，进入 APP 后的界面是横屏展示的，这时通过 OrientationEventListener 检测出来的角度变化无法判断 APP 界面是否横屏展示。
实际上，我们需要感知的是当前屏幕界面横竖屏展示状态而非手机物理上横竖翻转状态。
这时我们就需要根据 Display 的 rotation 值来判断界面的横竖屏状态，rotation 有以下值：
public static final int ROTATION_0 = 0; //默认竖直状态
public static final int ROTATION_90 = 1; //左横屏
public static final int ROTATION_180 = 2; //倒立
public static final int ROTATION_270 = 3; //右横屏其中ROTATION_0和ROTATION_180代表竖屏的两种状态，ROTATION_90和ROTATION_270代表横屏的两种状态。我们只关心是界面否经历了横竖屏状态的切换，至于左横屏还是右横屏，并不影响采集效果。
private boolean checkRotationChange() {
int currentRotation = display.getRotation();
boolean rotationChange = false;
if ((currentRotation + lastRotation) % 2 == 1) {
rotationChange = true;
}
lastRotation = currentRotation;
return rotationChange;
}
总结
本文针对 Android 端屏幕采集涉及到的屏幕数据生产者，数据缓冲区做了简单介绍，其实消费者对屏幕原始数据的处理更是整个屏幕共享流程中关键的步骤。另外对屏幕采集的分辨率、帧率的控制，横竖屏切换适配等问题也只是理论上阐述，具体代码实现还是有很多细节需要注意。