性能比肩美拍秒拍的Android视频录制编辑特效解决方案

       前言

       在进行Android平台的音视频开发时，Java层API的支持在MediaCodec之前还相对抽象，功能受限。MediaCodec虽在后期推出，但也存在兼容性问题以及各厂商实现不一致的情况。开发者开始转向NDK寻求更丰富的源码天空拍照音视频处理能力，但NDK提供的API并不全面，尤其是音视频处理方面。因此，开发者们考虑使用开源的C/C++框架，如ffmpeg、x、mp3lame、faac等。然而，这些框架在不同平台如ARM和mips的支持上存在局限，且软解软编导致编码速度较慢，无法满足高帧率录制需求。因此，本文旨在提供一个性能更佳、兼容性更强的Android视频录制编辑解决方案。

       NDK可用API介绍

       在NDK中，开发者可以利用一些API进行音视频处理。例如，OpenSL可直接在C++层操作音频设备，进行录音和播放声音；EGL可用于创建OpenGL环境，进行视频图像渲染、图像处理等；OpenGL(ES)提供C++层的OpenGL接口；OpenMAXIL为视频播放提供抽象接口。此外，mapbox修改源码还需注意的是，OpenMAXAL虽然提供了抽象接口，但不支持Android平台的摄像头使用，因此需要从Java层获取摄像头数据。

       选择开源框架

       在处理音频编码问题时，考虑到ffmpeg、x、mp3lame和faac等开源框架的性能与兼容性，选择ffmpeg2.7.5版本进行文件解析、图像拉伸、像素格式转换以及大多数解码器，x作为H编码器，并使用最新版本进行优化，faac编码器虽存在速度问题，但通过曲线救国的方式解决了音频编码问题。最后，引入OpenGL2D/3D引擎，如COCOS2D-X，用于视频特效处理，同时简化了COCOS2D-X的回收机制，使其更符合项目需求。

       完整解决方案

       为解决音频编码速度慢的问题，采用ffmpeg直接处理视频编码，而音频数据则写入文件。这样既能灵活配置编码参数，实现快速编码，又能避免磁盘写入速度的瓶颈。同时，家具溯源码多线程异步写入数据可以满足编码速度与帧率的匹配需求。引入OpenGL2D/3D引擎，如COCOS2D-X，用于添加视频特效，并简化其回收机制，提高性能。

       主副线程模式

       为确保OpenGL操作的线程安全，设计了主副线程模式。主线程负责UI的响应，而副线程则用于执行其他耗时任务，如OpenGL渲染等。通过任务接口实现多任务调度，提高整体性能和稳定性。

       总结与优化

       选择合适的API版本（ffmpeg2.7.5、x最新版本）并开启优化选项（asm，neon等）。采用分步编码策略，视频数据直接调用x编码，音频数据写入文件。引入COCOS2D-X作为特效引擎，简化其回收机制。设计主副线程模式，确保OpenGL操作在单一线程内执行，提高性能稳定性。

       源码与演示

       完整工程源码已发布，支持API及以上版本。操作演示和视频生成位置已提供链接。需要注意的智能电饭煲源码API调用细节如下：

       1、com.android.video.camera.EFCameraView类中设置当前选用的摄像头分辨率宽度和高度。

       2、jni/WORKER/EFRecordWorker.cpp中的createRecordWorker函数内，配置当前录制视频的各种基本参数。

       3、jni/WORKER/EFRecordWorker.cpp的on_create_worker函数内，设置OpenGL绘制帧率，与视频帧率不同，请根据实际需求设置。

       感谢社区反馈，针对优化建议：

       1、使用更优的AAC开源方案，推荐FDKAAC。

       2、尝试升级OpenGL版本，使用GLES 3.0实现快速获取渲染结果图像。

       在Android上进行音视频处理，结合特定版本的API和开源框架，可以实现更高效、兼容性强的解决方案。随着技术的不断演进，Android平台在音视频处理方面的能力也在不断提升。

如何在Android上实现FrameBuffer和Overlay的blend

       1.SurfaceFlinger是一个服务，主要是负责合成各窗口的Surface，然后通过OpenGLES显示到FrameBuffer上。

       2.DisplayHardware是对显示设备的抽象，包括FrameBuffer和Overlay。加载FrameBuffer和Overlay插件，并初始化OpenGLES:

       view plain

       mNativeWindow = new FramebufferNativeWindow();

       framebuffer_device_t const * fbDev = mNativeWindow->getDevice();

       if (hw_get_module(OVERLAY_HARDWARE_MODULE_ID, &module) == 0) {

        overlay_control_open(module, &mOverlayEngine);

       }

       surface = eglCreateWindowSurface(display, config, mNativeWindow.get(), NULL);

       eglMakeCurrent(display, surface, surface, context);

       3.FramebufferNativeWindow 是framebuffer 的抽象，它负责加载libgralloc，并打开framebuffer设备。FramebufferNativeWindow并不直接使用 framebuffer，而是自己创建了两个Buffer：

       queueBuffer负责显示一个Buffer到屏幕上，它调用fb->post去显示。

       dequeueBuffer获取一个空闲的Buffer，用来在后台绘制。

       è¿™ä¸¤ä¸ªå‡½æ•°ç”±eglSwapBuffers调过来，调到

       view plain

       egl_window_surface_v2_t::swapBuffers：

        nativeWindow->queueBuffer(nativeWindow, buffer);

        nativeWindow->dequeueBuffer(nativeWindow, &buffer);

       4.msm7k/liboverlay是Overlay的实现，与其它平台不同的是，高通平台上的Overlay并不是提供一个framebuffer设备，而通过fb0的ioctl来实现的，ioctl分为两类操作：

       OverlayControlChannel用于设置参数，比如设置Overlay的位置，宽度和高度：

       view plain

       bool OverlayControlChannel::setPosition(int x, int y, uint_t w, uint_t h) {

        ov.dst_rect.x = x;

        ov.dst_rect.y = y;

        ov.dst_rect.w = w;

        ov.dst_rect.h = h;

        ioctl(mFD, MSMFB_OVERLAY_SET, &ov);

       }

       OverlayDataChannel用于显示Overlay，其中最重要的函数就是queueBuffer:

       view plain

       bool OverlayDataChannel::queueBuffer(uint_t offset) {

        mOvData.data.offset = offset;

        ioctl(mFD, MSMFB_OVERLAY_PLAY, odPtr))

       }

       5.msm7k/libgralloc 是显示缓存的抽象，包括framebuffer和普通Surface的Buffer。framebuffer只是/dev/graphic/fb0的包 装，Surface的Buffer则是对/dev/pmem、ashmem和GPU内存(msm_hw3dm)的包装，它的目标主要是方便硬件加速，因为 DMA传输使用物理地址，要求内存在物理地址上连续。

       6.msm7k/libcopybit这是2D加速库，主要负责Surface的拉伸、旋转和合成等操作。它有两种实现方式：

       copybit.cpp: 基于fb0的ioctl(MSMFB_BLIT)的实现。

       copybit_c2d.cpp: 基于kgsl的实现，只是对libC2D2.so的包装，libC2D2.so应该是不开源的。

       7.pmem

       misc/pmem.c: 对物理内存的管理，算法和用户空间的接口。

       board-msm7x.c定义了物理内存的缺省大小：

       view plain

       #define MSM_PMEM_MDP_SIZE 0x1B

       #define MSM_PMEM_ADSP_SIZE 0xB

       #define MSM_PMEM_AUDIO_SIZE 0x5B

       #define MSM_FB_SIZE 0x

       #define MSM_GPU_PHYS_SIZE SZ_2M

       #define PMEM_KERNEL_EBI1_SIZE 0x1C

       msm_msm7x2x_allocate_memory_regions分配几大块内存用于给pmem做二次分配。

       8.KGSL

       Kernel Graphics System Layer (KGSL)，3D图形加速驱动程序，源代码drivers/gpu/msm目录下，它是对GPU的包装，给OpenGLES 2.0提供抽象的接口。

       9.msm_hw3dm

       è¿™ä¸ªæˆ‘在内核中没有找到相关代码。

       .msm_fb

       msm_fb.c: framebuffer, overlay和blit的用户接口。

       mdp_dma.c: 对具体显示设备的包装，提供两种framebuffer更新的方式：

       mdp_refresh_screen： 定时更新。

       mdp_dma_pan_update: 通过pan display主动更新。

       mdp_dma_lcdc.c：针对LCD实现的显示设备，mdp_lcdc_update用更新framebuffer。

opengl和skia哪个快

       从Honeycomb[3.x]版本起，Andorid便支持GPU加速，但目前Android并没有使用Skia GPU进行Webkit渲染。Skia GPU使用OpenGL进行后台加速渲染，未来也许会代替Skia。

       很多人觉得，裸k 源码即使Android成功使用了GPU加速Webkit渲染，在访问浏览如雅虎等一般的网站时，用户也感觉不到太大的差异。因为Webkit的资源大多数消耗在了Javascript脚本和布局定位上。

       我们觉得Webkit使用GPU加速渲染的最大意义无非是HTML5 Canvas[HTML5的动态绘图效果]。Android渲染Canvas动画实在太慢，导致Web开发者根本无法在Android上用Canvas开发网页游戏[要注意的是，目前很多手机和平板的应用程序以HTML5做为界面，并使用Webkit工作，这也是很多应用在Android系统上感觉不流畅的重要因素。

       Android Webkit开发平台[NDK]使用Skia GPU加速测试

       我们对Android系统使用Skia GPU加速的Webkit进行了测试。我们手上已经有Android Webkit NDK的WAC2.0版本，我使用了某个提交版本的Skia源码，并开启Skia GPU加速将其编译进NDK中。

       我并没有使用Canvas加速，因为这还要增加修改GraphicsContextSkia API的工作，所以并未测试Canvas渲染的性能。

       为了使用Skia GPU加速，我做了以下两点：

       1，新增了一个使用GLSurfaceView的eglContext内容。

       2，在WebView.cpp中使用SkGpuCanvas代替SkCanvas。 我在系统版本为2.3.2的Nexus S上测试，并禁用了屏幕合成加速和Webkit后备缓存，结果出乎意料，Skia GPU反而降低了绘图性能，比Skia使用CPU渲染的时候慢了两倍以上。

       当用户滚动雅虎网站页面的时候，每一帧都会使Webkit对页面元素进行重绘。页面元素包括%的文本，%的矩形和%的图像，Skia GPU加速渲染时候反而慢了五倍。

       你看到图表后也许会觉得Skia GPU渲染SVG动画时是要比CPU快那么一丁点了。不过Webkit在渲染SVG动画的时候出了一些问题，它绝大多数时间花在了定位布局SVG元素上，而不是渲染SVG元素。所以我不敢确定Skia使用GPU加速时是不是真的变快了。

       Skia在栅格化文本的时候使用的是CPU而不是GPU，它将文本缓存为材质贴图。因此Skia GPU加速并不会增加滚动文本时的速度。

       我一开始觉得Skia GPU加速会在绘制飞舞的浏览器图标时理应能速度更快了，毕竟那是位图动画，是GPU的强项。结果，Skia GPU渲染慢了倍由于还没有得到详细结果，所以我们需要做进一步的研究，以找到问题的原因。

       当你构建Skia的时候，你会得到一个跑分程序，运行之后，你会看到使用CPU和GPU渲染时的性能差异。下面是一些测试得分中的重点项目。

SurfaceTexture详解

       ä¹‹å‰è®²åˆ°äº† flutter的Texture

        SurfaceTexture 是 Surface 和 OpenGL ES (GLES) 纹理的组合。SurfaceTexture 用于提供输出到 GLES 纹理的 Surface

        SurfaceTexture 包含一个 BufferQueue。当生产方将新的缓冲区排入队列时，onFrameAvailable() 回调会通知应用。然后，应用调用 updateTexImage()，这会释放先前占有的缓冲区，从队列中获取新缓冲区并执行 EGL 调用，从而使 GLES 可将此缓冲区作为外部纹理使用。

        关键方法：

        SurfaceTexture(int texName, boolean singleBufferMode)构造方法

        setOnFrameAvailableListener 设置回调，当生产者准备好新的帧后会调用Listener

        updateTexImage 更新texture到指定的GLESContext

        detachFromGLContext

        attachToGLContext

        解绑/绑定 当前GLContext

        getTransformMatrix 设置重采样纹理矩阵，当渲染的时候会用到这个数据

        release() 完全释放 SufaceTexture的 buffers并且吧Surface状态置为abandoned

        android-8.0.0_r1 源码解析：

        GLConsumer参数解释：

        bq是BufferQueue创建BufferConsumer

        tex 表示要将图像流传输到的OpenGL ES纹理名称。

        texTarget指定了哪个纹理将被绑定

        useFenceSync表示是否需要同步访问缓冲区

        可以从一个OpenGL ES上下文中分离GLConsumer，然后分别使用detachFromContext和attachToContext方法将GLConsumer附加到另一个上下文。

        如果设置tex参数则会通过attachToContext将GLConsumer附加到OpenGL ES context中。

        第一次调用updateTexImage才会绑定，之后所有对updateTexImage的调用必须使用相同的当前OpenGL ES context进行

        acquireBufferLocked创建EglImage并设置到EglSlots中

        updateAndReleaseLocked 更新 EglImage

        createIfNeeded 如果EGLDisplay改变或者crop改变则会创建EglImage

        bindToTextureTarget 将调用glEGLImageTargetTexture2DOES去绑定image到指定的目标纹理

        这里创建EGLImageKHR，EGLImageKHR用于共享EGL资源

        EGL的ShareContext是常见的共享上下文的方式（iOS平台的EAGL叫ShareGroup）。

        当share_context参数传入另一个EGL的context时，这两个EGLContext就可以共享纹理以及VBO等。

        需要注意的是container objects不能被共享，比如：

        Framebuffer objects

        Vertex array objects

        Transform feedback objects

        Program pipeline objects

        参考： /project/deep-android-v1/classes.html

        EGLImageKHR: mon (out/host/linux-x/obj/STATIC_LIBRARIES/libGLcommon_intermediates/libGLcommon.a)

        解决：sudo ln -s /usr/lib/i-linux-gnu/mesa/libGL.so.1 /usr/lib/i-linux-gnu/libGL.so

       . 错误：make: *** [out/host/linux-x/obj/EXECUTABLES/obbtool_intermediates/Main.o] Error 1

        后来发现了，原来是Ubuntu .里的gcc和g++版本太高了，于是执行下面的操作：

        sudo apt-get install gcc-4.4

        sudo apt-get install g++-4.4

        sudo rm -rf /usr/bin/gcc /usr/bin/g++

        sudo ln -s /usr/bin/gcc-4.4 /usr/bin/gcc

        sudo ln -s /usr/bin/g++-4.4 /usr/bin/g++

        把默认的4.6版本换为了4.4，继续编译源码，又出现了另一个错误，大致提示为：

        g++ selected multilib '' not installed

        继续奋战吧，安装相应的工具吧：sudo apt-get install g++-4.4-multilib，现在正在make -j8(开启多线程编译（不推荐），可能有时候会出现问题，最好是直接make)

       2. 解决各种依赖问题

        首先安装一些库

        ?View Code BASH

        1 sudo apt-get install gnupg flex bison gperf libsdl1.2-dev libesd0-dev

        2 sudo apt-get install libwxgtk2.6-dev squashfs-tools build-essential

        3 sudo apt-get install zlib1g-dev pngcrush schedtool ia-libs libncurses5-dev

        这些库可能不全，如果出现问题，再google一下吧

       3. error: “_FORTIFY_SOURCE” redefined [-Werror]

        这个问题，据说与gcc版本有关，4.4版不会出现。

        后来在google code上找到了使用gcc 4.6编译的方法

        修改build/core/combo/HOST_linux-x.mk文件line

        ?View Code BASH

        1 -HOST_GLOBAL_CFLAGS += -D_FORTIFY_SOURCE=0

        2 +HOST_GLOBAL_CFLAGS += -U_FORTIFY_SOURCE -D_FORTIFY_SOURCE=0

        这是CyanogenMod打上的补丁

       4. No rule to make target ‘out/target/product/generic/obj/lib/libcamera.so’

        修改 /home/Android-2.3.4/frameworks/base/services/camera/libcameraservice/Android.mk，USE_CAMERA_STUB:=false -> true

        ?View Code BASH

        1 LOCAL_PATH:= $(call my-dir)

        2

        3 # Set USE_CAMERA_STUB if you don't want to use the hardware camera.

        4

        5 # force these builds to use camera stub only

        6 ifneq ($(filter sooner generic sim,$(TARGET_DEVICE)),)

        7 USE_CAMERA_STUB:=true

        8 endif

        9

        #########CHANGE THIS LINE############

        USE_CAMERA_STUB:=true

        ifeq ($(USE_CAMERA_STUB),)

        USE_CAMERA_STUB:=false

        endif

Android HWUI 源码研究 View Canvas RenderThread ViewRootImpl skia

       HUWUI是Android系统中负责应用可视化元素绘制的核心组件，其架构主要在C++层实现，从Java层接收View绘制信息，通过唯一的渲染线程使用skia技术完成渲染任务。整体上，从应用程序到UI线程，再到渲染线程，形成了清晰的层级关系。

       HUWUI的构建主要包括三个核心类，它们分别是：RecordingCanvas、Canvas、RenderNode、RenderProxy、RenderThread、CanvasContext、IRenderPipeline。在Java层，主要涉及两类Canvas，RecordingCanvas用于记录绘制指令，Canvas则是直接用于渲染。RecordingCanvas在构造时创建，而Canvas在调用时创建。这两个类在C++层分别对应SkiaRecordingCanvas和SkiaCanvas，后者直接引用SkCanvas。

       在全局循环中，UI线程与渲染线程之间的协同操作至关重要。具体流程包括：新创建Activity后，附着到对应的PhoneWindow，然后调用PhoneWindow的setContentView方法，将View添加到DecorView作为子节点。接着，DecorView与ViewRootImpl对接，完成View的更新与渲染。整个过程包含了measure、layout和draw等复杂子流程。

       渲染线程创建与核心对象紧密关联，主要包括RenderProxy、RenderThread和DrawFrameTask。RenderProxy负责Java层信息的衔接，RenderThread作为进程唯一的渲染线程，持有DrawFrameTask和CanvasContext，完成一帧的绘制任务。指令记录流程的核心在于使用C++层的RecordingCanvas将View属性和绘制信息记录到DisplayList中，进而完成指令的渲染。

       Surface、ANativeWindow、EGLSurface的创建流程在ViewRootImpl的performTraversals函数中初始化。ReliableSurface的封装和EGL与Skia环境的创建主要在RenderThread的requireGlContext函数中实现。从源码分析，这一过程通常在三个地方调用。

       View树与RenderNode树之间的协作关系明确，一个Application进程对应多个Activity，每个Activity与一个PhoneWindow绑定，PhoneWindow持有DecorView，DecorView对应一个ViewRootImpl，而ViewRootImpl与ThreadedRender模块对接。ThreadedRender与C++层的RenderProxy一一对应，RenderProxy持有关键对象，如RenderThread、CanvasContext、DrawFrameTask等。RenderThread是单例模式，进程唯一，负责一帧绘制的逻辑。

       在RenderPipeline模块中，关键操作包括makeCurrent、draw和swapBuffers。Native Canvas在这一过程中扮演了桥梁角色，接收Java API调用，而RecordingCanvas完成Op记录，最终DisplayListData存储这些Op。

       skia的核心资源主要在三个使用场景中发挥作用，具体细节需深入分析，这些资源对于实现高效、稳定的渲染效果至关重要。

安卓系统 android 2.1 android 2.2 android 2.3 有什么区别？

       安卓系统 android 2.1 android 2.2 android 2.3 区别如下：

       1.Android 2.1: 年 月 日，又一个主要版本升级以创纪录的速度放出。这次，大版本升级到了Android 2.1 “Eclair” 。

       Android 2.0.1 SDK 于 年 月 3 日 发布，之后是 年 1 月 日的 2.1 版本。很多用户和围观群众可能会奇怪：“为什么 Android 会用甜点作为它们系统版本的代号？”，这个命名方法开始于 Andoird 1.5 发布的时候。作为每个版本代表的甜点的尺寸越变越大，然后按照字母数序：小蛋糕，甜甜圈还有松饼。之前人们预计 2.2 版本的代号会是“馅饼”，但这个被最终证明是错误的，“FroYo”（冻酸奶）才是Android 2.2这个伴随 Google Nexus One 发布的新版的最新代号。

       2.谷歌于北京时间年5月日晚上:点在旧金山Moscone会展中心举办Google I/O 大会第二天的会议，Google正式发布了代号是“froyo 冻酸奶”的Android手机操作系统2.2版。

       3.北京时间年月7日凌晨，Google正式对外发布了他们的智能手机操作系统Android 2.3，也就被大家所熟知的AndroidGingerbread（姜饼）系统。虽然在版本方面Android2.3相对于前作而言的提升并不算多，但是从功能以及界面的变化上来看还是十分明显的。