皮皮网

【qmt量化源码】【vsctl源码】【awm源码】mdp源码

时间:2024-12-26 04:08:13 来源:arduino示波器源码

1.Spring Boot引起的“堆外内存泄漏”排查及经验总结
2.如何在Android上实现FrameBuffer和Overlay的blend

mdp源码

Spring Boot引起的“堆外内存泄漏”排查及经验总结

       为了更好地实现对项目的管理,我们将组内一个项目迁移到MDP框架(基于Spring Boot),随后我们就发现系统会频繁报出Swap区域使用量过高的异常。笔者被叫去帮忙查看原因,发现配置了4G堆内内存,但是qmt量化源码实际使用的物理内存竟然高达7G,确实不正常。JVM参数配置是“-XX:MetaspaceSize=M -XX:MaxMetaspaceSize=M -XX:+AlwaysPreTouch -XX:ReservedCodeCacheSize=m -XX:InitialCodeCacheSize=m, -Xssk -Xmx4g -Xms4g,-XX:+UseG1GC -XX:G1HeapRegionSize=4M”,实际使用的物理内存如下图所示:

       使用Java层面的工具定位内存区域(堆内内存、Code区域或者使用unsafe.allocateMemory和DirectByteBuffer申请的堆外内存)。

       笔者在项目中添加-XX:NativeMemoryTracking=detailJVM参数重启项目,使用命令jcmd pid VM.native_memory detail查看到的内存分布如下:

       发现命令显示的committed的内存小于物理内存,因为jcmd命令显示的内存包含堆内内存、Code区域、通过unsafe.allocateMemory和DirectByteBuffer申请的内存,但是不包含其他Native Code(C代码)申请的堆外内存。所以猜测是vsctl源码使用Native Code申请内存所导致的问题。

       为了防止误判,笔者使用了pmap查看内存分布,发现大量的M的地址;而这些地址空间不在jcmd命令所给出的地址空间里面,基本上就断定就是这些M的内存所导致。

       使用系统层面的工具定位堆外内存。

       因为已经基本上确定是Native Code所引起,而Java层面的工具不便于排查此类问题,只能使用系统层面的工具去定位问题。

       首先,使用了gperftools去定位问题。

       从上图可以看出:使用malloc申请的的内存最高到3G之后就释放了,之后始终维持在M-M。笔者第一反应是:难道Native Code中没有使用malloc申请,直接使用mmap/brk申请的?(gperftools原理就使用动态链接的方式替换了操作系统默认的内存分配器(glibc)。)

       然后,使用strace去追踪系统调用。awm源码

       因为使用gperftools没有追踪到这些内存,于是直接使用命令“strace -f -e"brk,mmap,munmap" -p pid”追踪向OS申请内存请求,但是并没有发现有可疑内存申请。

       接着,使用GDB去dump可疑内存。

       因为使用strace没有追踪到可疑内存申请;于是想着看看内存中的情况。就是直接使用命令gdp -pid pid进入GDB之后,然后使用命令dump memory mem.bin startAddress endAddressdump内存,其中startAddress和endAddress可以从/proc/pid/smaps中查找。然后使用strings mem.bin查看dump的内容,如下:

       从内容上来看,像是解压后的JAR包信息。读取JAR包信息应该是在项目启动的时候,那么在项目启动之后使用strace作用就不是很大了。所以应该在项目启动的时候使用strace,而不是rpcx源码启动完成之后。

       再次,项目启动时使用strace去追踪系统调用。

       项目启动使用strace追踪系统调用,发现确实申请了很多M的内存空间,截图如下:

       使用该mmap申请的地址空间在pmap对应如下:

       最后,使用jstack去查看对应的线程。

       因为strace命令中已经显示申请内存的线程ID。直接使用命令jstack pid去查看线程栈,找到对应的线程栈(注意进制和进制转换)如下:

       这里基本上就可以看出问题来了:MCC(美团统一配置中心)使用了Reflections进行扫包,底层使用了Spring Boot去加载JAR。因为解压JAR使用Inflater类,需要用到堆外内存,然后使用Btrace去追踪这个类,栈如下:

       然后查看使用MCC的地方,发现没有配置扫包路径,默认是diffj源码扫描所有的包。于是修改代码,配置扫包路径,发布上线后内存问题解决。

       为什么堆外内存没有释放掉呢?

       虽然问题已经解决了,但是有几个疑问。带着疑问,直接看了一下 Spring Boot Loader那一块的源码。发现Spring Boot对Java JDK的InflaterInputStream进行了包装并且使用了Inflater,而Inflater本身用于解压JAR包的需要用到堆外内存。而包装之后的类ZipInflaterInputStream没有释放Inflater持有的堆外内存。于是以为找到了原因,立马向Spring Boot社区反馈了这个bug。但是反馈之后,就发现Inflater这个对象本身实现了finalize方法,在这个方法中有调用释放堆外内存的逻辑。也就是说Spring Boot依赖于GC释放堆外内存。

       使用jmap查看堆内对象时,发现已经基本上没有Inflater这个对象了。于是就怀疑GC的时候,没有调用finalize。带着这样的怀疑,把Inflater进行包装在Spring Boot Loader里面替换成自己包装的Inflater,在finalize进行打点监控,结果finalize方法确实被调用了。于是又去看了Inflater对应的C代码,发现初始化的使用了malloc申请内存,end的时候也调用了free去释放内存。

       此时,怀疑free的时候没有真正释放内存,便把Spring Boot包装的InflaterInputStream替换成Java JDK自带的,发现替换之后,内存问题也得以解决了。

       再次看gperftools的内存分布情况,发现使用Spring Boot时,内存使用一直在增加,突然某个点内存使用下降了好多(使用量直接由3G降为M左右)。这个点应该就是GC引起的,内存应该释放了,但是在操作系统层面并没有看到内存变化,那是不是没有释放到操作系统,被内存分配器持有了呢?

       继续探究,发现系统默认的内存分配器(glibc 2.版本)和使用gperftools内存地址分布差别很明显,2.5G地址使用smaps发现它是属于Native Stack。内存地址分布如下:

       到此,基本上可以确定是内存分配器在捣鬼;搜索了一下glibc M,发现glibc从2.开始对每个线程引入内存池(位机器大小就是M内存),原文如下:

       按照文中所说去修改MALLOC_ARENA_MAX环境变量,发现没什么效果。查看tcmalloc(gperftools使用的内存分配器)也使用了内存池方式。

       为了验证是内存池搞的鬼,就简单写个不带内存池的内存分配器。使用命令gcc zjbmalloc.c -fPIC -shared -o zjbmalloc.so生成动态库,然后使用export LD_PRELOAD=zjbmalloc.so替换掉glibc的内存分配器。其中代码Demo如下:

       通过在自定义分配器当中埋点可以发现实际申请的堆外内存始终在M-M之间,gperftools监控显示内存使用量也是在M-M左右。但是从操作系统角度来看进程占用的内存差别很大(这里只是监控堆外内存)。

       使用不同分配器进行不同程度的扫包,占用的内存如下:

       为什么自定义的malloc申请M,最终占用的物理内存在1.7G呢?因为自定义内存分配器采用的是mmap分配内存,mmap分配内存按需向上取整到整数个页,所以存在着巨大的空间浪费。通过监控发现最终申请的页面数目在k个左右,那实际上向系统申请的内存等于k * 4k(pagesize) = 2G。

       为什么这个数据大于1.7G呢?因为操作系统采取的是延迟分配的方式,通过mmap向系统申请内存的时候,系统仅仅返回内存地址并没有分配真实的物理内存。只有在真正使用的时候,系统产生一个缺页中断,然后再分配实际的物理Page。

       整个内存分配的流程如上图所示。MCC扫包的默认配置是扫描所有的JAR包。在扫描包的时候,Spring Boot不会主动去释放堆外内存,导致在扫描阶段,堆外内存占用量一直持续飙升。当发生GC的时候,Spring Boot依赖于finalize机制去释放了堆外内存;但是glibc为了性能考虑,并没有真正把内存归返到操作系统,而是留下来放入内存池了,导致应用层以为发生了“内存泄漏”。所以修改MCC的配置路径为特定的JAR包,问题解决。在发表这篇文章时,发现Spring Boot的最新版本(2.0.5.RELEASE)已经做了修改,在ZipInflaterInputStream主动释放了堆外内存不再依赖GC;所以Spring Boot升级到最新版本,这个问题也可以得到解决。

如何在Android上实现FrameBuffer和Overlay的blend

       1.SurfaceFlinger是一个服务,主要是负责合成各窗口的Surface,然后通过OpenGLES显示到FrameBuffer上。

       2.DisplayHardware是对显示设备的抽象,包括FrameBuffer和Overlay。加载FrameBuffer和Overlay插件,并初始化OpenGLES:

       view plain

       mNativeWindow = new FramebufferNativeWindow();

       framebuffer_device_t const * fbDev = mNativeWindow->getDevice();

       if (hw_get_module(OVERLAY_HARDWARE_MODULE_ID, &module) == 0) {

        overlay_control_open(module, &mOverlayEngine);

       }

       surface = eglCreateWindowSurface(display, config, mNativeWindow.get(), NULL);

       eglMakeCurrent(display, surface, surface, context);

       3.FramebufferNativeWindow 是framebuffer 的抽象,它负责加载libgralloc,并打开framebuffer设备。FramebufferNativeWindow并不直接使用 framebuffer,而是自己创建了两个Buffer:

       queueBuffer负责显示一个Buffer到屏幕上,它调用fb->post去显示。

       dequeueBuffer获取一个空闲的Buffer,用来在后台绘制。

       è¿™ä¸¤ä¸ªå‡½æ•°ç”±eglSwapBuffers调过来,调到

       view plain

       egl_window_surface_v2_t::swapBuffers:

        nativeWindow->queueBuffer(nativeWindow, buffer);

        nativeWindow->dequeueBuffer(nativeWindow, &buffer);

       4.msm7k/liboverlay是Overlay的实现,与其它平台不同的是,高通平台上的Overlay并不是提供一个framebuffer设备,而通过fb0的ioctl来实现的,ioctl分为两类操作:

       OverlayControlChannel用于设置参数,比如设置Overlay的位置,宽度和高度:

       view plain

       bool OverlayControlChannel::setPosition(int x, int y, uint_t w, uint_t h) {

        ov.dst_rect.x = x;

        ov.dst_rect.y = y;

        ov.dst_rect.w = w;

        ov.dst_rect.h = h;

        ioctl(mFD, MSMFB_OVERLAY_SET, &ov);

       }

       OverlayDataChannel用于显示Overlay,其中最重要的函数就是queueBuffer:

       view plain

       bool OverlayDataChannel::queueBuffer(uint_t offset) {

        mOvData.data.offset = offset;

        ioctl(mFD, MSMFB_OVERLAY_PLAY, odPtr))

       }

       5.msm7k/libgralloc 是显示缓存的抽象,包括framebuffer和普通Surface的Buffer。framebuffer只是/dev/graphic/fb0的包 装,Surface的Buffer则是对/dev/pmem、ashmem和GPU内存(msm_hw3dm)的包装,它的目标主要是方便硬件加速,因为 DMA传输使用物理地址,要求内存在物理地址上连续。

       6.msm7k/libcopybit这是2D加速库,主要负责Surface的拉伸、旋转和合成等操作。它有两种实现方式:

       copybit.cpp: 基于fb0的ioctl(MSMFB_BLIT)的实现。

       copybit_c2d.cpp: 基于kgsl的实现,只是对libC2D2.so的包装,libC2D2.so应该是不开源的。

       7.pmem

       misc/pmem.c: 对物理内存的管理,算法和用户空间的接口。

       board-msm7x.c定义了物理内存的缺省大小:

       view plain

       #define MSM_PMEM_MDP_SIZE 0x1B

       #define MSM_PMEM_ADSP_SIZE 0xB

       #define MSM_PMEM_AUDIO_SIZE 0x5B

       #define MSM_FB_SIZE 0x

       #define MSM_GPU_PHYS_SIZE SZ_2M

       #define PMEM_KERNEL_EBI1_SIZE 0x1C

       msm_msm7x2x_allocate_memory_regions分配几大块内存用于给pmem做二次分配。

       8.KGSL

       Kernel Graphics System Layer (KGSL),3D图形加速驱动程序,源代码drivers/gpu/msm目录下,它是对GPU的包装,给OpenGLES 2.0提供抽象的接口。

       9.msm_hw3dm

       è¿™ä¸ªæˆ‘在内核中没有找到相关代码。

       .msm_fb

       msm_fb.c: framebuffer, overlay和blit的用户接口。

       mdp_dma.c: 对具体显示设备的包装,提供两种framebuffer更新的方式:

       mdp_refresh_screen: 定时更新。

       mdp_dma_pan_update: 通过pan display主动更新。

       mdp_dma_lcdc.c:针对LCD实现的显示设备,mdp_lcdc_update用更新framebuffer。

推荐资讯
mvcpager 源码

mvcpager 源码

广告变现影视APP源码_广告变现影视app源码下载

广告变现影视APP源码_广告变现影视app源码下载

php 共享软件源码_php文件分享源码

php 共享软件源码_php文件分享源码

河南教学直播系统源码_河南直播课堂平台

河南教学直播系统源码_河南直播课堂平台

getshell源码

getshell源码

河南教学直播系统源码_河南直播课堂平台

河南教学直播系统源码_河南直播课堂平台

copyright © 2016 powered by 皮皮网   sitemap