详解SpringCloudGateway内存泄漏问题
SpringCloudGateway内存泄漏问题
项目完善差不多，在进入压力测试阶段期间，发现了gateway有内存泄漏问题，问题发现的起因是，当时启动一台gateway，一台对应的下游应用服务，在压力测试期间，发现特别不稳定，并发量时高时低，而且会有施压机卡住的现象，然后找到容器对应的宿主机，并使用container stats命令观察内存，经过观察发现，压力测试时内存会暴涨，并由于超过限制最大内存导致容器挂掉（这里由于用的swarm所以会自动选择节点重启）最终发现由于之前测试服务器配置低，所以限制了堆大小为1g，容器cpu 1，容器内存限制为了1g，经过调整后将内存改为4g且不限制容器资源的情况下，并发稳定，单机qps也不错，但是多次压力测试后依然会有卡住的问题，观察了日志之后确定为内存泄漏
io.netty.util.internal.OutOfDirectMemoryError:
failed to allocate 16777216 byte(s) of direct memory
(used: 4110417927, max: 4116185088)
- LEAK: ByteBuf.release() was not called before it's garbage-collected.
发现问题之后，我进入容器内dump了内存快照，并下载到本机由jvisualvm分析，分析过程中并没有发现异常情况，由于gateway底层是netty，所以怀疑是堆外内存出了问题，这时候我从快照中查询bytebuff，依然很小，后来直接使用arthas去线上分析，分析发现堆内存正常，gc也没有问题
最后为了快速测试出异常，我调小了堆外内存大小,并配合nmt调查
-XX:NativeMemoryTracking=detail -XX:MaxDirectMemorySize=100M
在线上使用pmap去查看内存，发现了很多的anon，并且每次并发都会增长
转移到本地进行测试，发现内存远超出分配的堆大小，最终确定为堆外内存出了问题
既然是堆外内存出的问题，我们就只关心是否申请了buff没有释放，通过对代码的检查发现，只有两个地方使用到了相关的内容
DataBuffer buffer = exchange.getResponse().bufferFactory().wrap(bytes);
return serverHttpResponse.writeWith(Flux.just(buffer));
对上面的代码进行大量压测后发现并无问题，内存没有异常增长不回收
ServerHttpRequest httpRequest = exchange.getRequest().mutate().headers(httpHeaders -> {
httpHeaders.add(GatewayConstants.LOGIN_USER_KEY, JSON.toJSONString(s));
}).build();
return chain.filter(exchange.mutate().request(httpRequest).build());
还有一处就是修改请求头这部分代码，当注释掉这部分时，内存稳定没有异常增长，当放开时，3000并发几乎增加800M内存，几次就怼到了5g+，由于gateway内置了一个请求头工厂(AddRequestHeaderGatewayFilterFactory)，我去查看对应的源代码，是怎么实现的
如图，除了多了解析配置之外和我写的基本也一样，那为何会内存异常呢？只能去github上找找问题看看有人遇到相同的事没。
这个老哥遇到的问题也类似，他是修改请求体的内容时出现的
这个问题我也遇到了
看起来这个问题还是挺严重的，最后我也反手提了一个问题
没有啥回答，最后还是参考了一些别人的写法最后内存不会飙升了，但是不知其为何，还得继续调查
到此这篇关于详解SpringCloudGateway内存泄漏问题的文章就介绍到这了,更多相关SpringCloudGateway内存泄漏内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
相关文章
基于springcloud异步线程池、高并发请求feign的解决方案
这篇文章主要介绍了基于springcloud异步线程池、高并发请求feign的解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-25- 这篇文章主要介绍了Spring AOP 对象内部方法间的嵌套调用方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-08-29
Spring Cloud 中@FeignClient注解中的contextId属性详解
这篇文章主要介绍了Spring Cloud 中@FeignClient注解中的contextId属性详解，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-09-25Springboot如何实现Web系统License授权认证
这篇文章主要介绍了Springboot如何实现Web系统License授权认证,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-05-28完美解决SpringCloud-OpenFeign使用okhttp替换不生效问题
这篇文章主要介绍了完美解决SpringCloud-OpenFeign使用okhttp替换不生效问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-25如何在Spring WebFlux的任何地方获取Request对象
这篇文章主要介绍了如何在Spring WebFlux的任何地方获取Request对象，帮助大家更好的理解和使用springboot框架，感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了详解SpringCloudGateway内存泄漏问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-07-16
- @Autowired 注解的主要功能就是完成自动注入,使用也非常简单,但这篇文章主要给大家介绍了关于Spring为什么不推荐使用@Autowired注解的相关资料,需要的朋友可以参考下...2021-11-03
Springboot如何使用mybatis实现拦截SQL分页
这篇文章主要介绍了Springboot使用mybatis实现拦截SQL分页,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-19如何解决springcloud feign 首次调用100%失败的问题
这篇文章主要介绍了如何解决springcloud feign 首次调用100%失败的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-06-23- 这篇文章主要介绍了SpringMVC文件上传原理及实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-07-15
解决php导致nginx报502 bad gateway错误问题
502 bad gateway这个问题很多朋友一看就以为是nginx或apache的问题，其实不然了，除了它们两会出现这个问题之外还有像php模块也会导致此问题的出现了，下面一起来看看吧．...2016-11-25Spring Data JPA 关键字Exists的用法说明
这篇文章主要介绍了Spring Data JPA 关键字Exists的用法说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-06-10- 这篇文章主要介绍了spring cloud gateway中如何读取请求参数的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-07-15
tomcat启动完成执行 某个方法 定时任务(Spring)操作
这篇文章主要介绍了tomcat启动完成执行 某个方法 定时任务(Spring)操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-09-25使用Maven 搭建 Spring MVC 本地部署Tomcat的详细教程
这篇文章主要介绍了使用Maven 搭建 Spring MVC 本地部署Tomcat,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-08-16- 502 bad gateway是php-fpm的问题对于这个问题就是配置参数的问题了，下面我们整理了一些关于php-fpm错误问题的解决办法，具体如下。 今天升级完PHP出现了502 Bad Gat...2016-11-25
- 这篇文章主要介绍了Spring Cloud负载均衡及远程调用实现详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2021-09-18
- 这篇文章主要介绍了SpringMvc自动装箱及GET请求参数原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-09-19
- 这篇文章主要介绍了Springboot使用thymeleaf动态模板实现刷新,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-08-31