使用HTTPclient保持长连接
HTTPclient保持长连接
首先解释一下什么是长连接
当我们向一台服务器发起请求时,我们需要和对方建立一条通道,去传输数据,所谓的短连接,就是说我们建立起了通道,然后在传输完数据,就把通道摧毁,下次需要的时候再重新去建立通道。
长连接呢,就是指,我们建立了一条通道,传递完数据后,先不摧毁,下次如果还需要传输数据,就复用这条通道。
因为通道的建立是需要花费时间的,所以长连接的优势就在于响应速度快,但是服务器压力大,因为同时有很多人在向服务器建立通道,即便有些通道已经传输完数据了,由于长连接的原因,通道也不会被摧毁;短连接呢,则是,响应速度慢,服务器压力小。
由于现在更多的是强调用户的体验,所以长连接目前是最常见的。
如何在java中实现一个长连接呢
其实很简单,只需要在请求的请求头中加入特定的参数 :“Connection”:"keep-alive"即可。这样如果对方支持长连接的话,那么这个连接就会保持长连接了。
问题的关键就来了,在一次压测某个https请求响应速度的代码中,我发现了,当对方响应数据为null,也就是responseBody中带的数据为null时,响应速度特别快,大概在5ms左右,但是一旦对方返回了响应数据,本次响应就可能达到了20ms。
然后请运维同事抓包,发现每次连接,都会耗费时间在用户认证上,其实也就是从某个方面反应出,每次都是新建立了一个连接。
HttpPost httpPost = new HttpPost("xxxxx"); httpPost.addHeader("Connection", "keep-alive"); CloseableHttpClient httpClient = null; for(int i =0 ;i<5000;i++){ long t1 = System.currentTimeMillis(); CloseableHttpResponse response = httpClient.execute(httpPost); long t2 = System.currentTimeMillis(); }
上了一段简单的代码,表示一下大概的逻辑,实际的压测代码还包括了线程池,连接池的完整参数等等,如果需要的可以留言或者翻看本人的其他的博客,有写线程池和连接池。
就是这样一段代码,导致每次连接都是新建立的连接,那么原因是什么呢,我们先上代码:
for (int i = 0; i<5000;i++){ long t1 = System.currentTimeMillis(); CloseableHttpResponse response = httpClient.execute(httpPost); if(null != response.getEntity()){ EntityUtils.consume(response.getEntity()); } long t2 = System.currentTimeMillis(); }
我们只需要简单加上三行代码,就可以解决这个问题了,这是为什么呢,让我们点进去源码看一下
这么一看, 其实这个方法也并没有做什么,只是简单的取到了流去关闭,为什么就保持长连接了呢。
后来仔细读http连接的原理才得知,当一个连接建立,响应数据时,会封装CloseableHttpResponse这个对象里面,其中的Entity对象就是包含着响应体的数据,我们需要用流去获取。如果你不去获取,那么这个数据就会存在于这个对象中,连接池就会认为,这个通道里有未处理的数据,然后它不会去复用这个通道,而是选择重建一个通道。这就完美解释了为什么压测时,对方返回null时,响应速度特别快,而携带返回数据时,响应速度特别慢了。
那么再仔细想想,为什么我们平常不知道这个知识点,却从来没有报过错呢,那是因为正常情况下,我们都是需要会对response做处理,比如String responseContent = EntityUtils.toString(response.getEntity(), StandardCharsets.UTF_8); 类似这种,我们点进源码看,其实也是取到了流,并做了关闭操作。平常还是要多阅读源码,想想源码。
httpclient因为保持永久长连接造成连接吊死的问题
httpclient使用了连接池,如果没有设置keep-alive策略,PoolingHttpClientConnectionManager会默认使用永久连接。
最近在调用京东api时,发现一个请求开始是可以获取到数据的,但隔了两分钟后再请求就会出现read timeout异常。
对比请求成功和请求失败的日志后发现,请求成功的有以下日志“Connection: keep-alive”,“Connection can be kept alive indefinitely”;但请求失败的却打印“Shutdown connection”,“Connection discarded”。
每次失败后再请求都会成功。因此推测中应该是对方服务器端禁止长连接,当连接到达一定时间会就会断开。
后来上网找到keep-alive策略的代码。
添加策略后,问题解决
ConnectionKeepAliveStrategy keepAliveStrategy = new ConnectionKeepAliveStrategy() { @Override public long getKeepAliveDuration(HttpResponse response, HttpContext context) { HeaderElementIterator it = new BasicHeaderElementIterator(response.headerIterator(HTTP.CONN_KEEP_ALIVE)); while (it.hasNext()) { HeaderElement he = it.nextElement(); String param = he.getName(); String value = he.getValue(); if (value != null && param.equalsIgnoreCase("timeout")) { try { return Long.parseLong(value) * 1000; } catch (NumberFormatException ignore) { } } } HttpHost target = (HttpHost) context.getAttribute(HttpClientContext.HTTP_TARGET_HOST); if ("bizapi.jd.com ".equalsIgnoreCase(target.getHostName())) { return 60 * 1000; } else { return 300 * 1000; } CloseableHttpClient httpClient = httpClientBuilder.setConnectionManager(pollingConnectionManager) .setKeepAliveStrategy(keepAliveStrategy).setDefaultRequestConfig(defaultRequestConfig).build();
以上为个人经验,希望能给大家一个参考,也希望大家多多支持猪先飞。
原文出处:https://blog.csdn.net/MrHamster/article/details/94590184
相关文章
C#中HttpWebRequest、WebClient、HttpClient的使用详解
这篇文章主要介绍了C#中HttpWebRequest、WebClient、HttpClient的使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-06-25详解.NET Core 使用HttpClient SSL请求出错的解决办法
这篇文章主要介绍了.NET Core 使用HttpClient SSL请求出错的解决办法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2021-09-22java HttpClient传输json格式的参数实例讲解
这篇文章主要介绍了java HttpClient传输json格式的参数实例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-22基于springboot的RestTemplate、okhttp和HttpClient对比分析
这篇文章主要介绍了基于springboot的RestTemplate、okhttp和HttpClient对比分析,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-10- 这篇文章主要给大家介绍了关于.NET Core中HttpClient的正确打开方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-09-22
在ASP.NET Core中应用HttpClient获取数据和内容
这篇文章主要介绍了在ASP.NET Core中集成和使用HttpClient获取数据和内容,帮助大家更好的理解和学习使用ASP.NET Core,感兴趣的朋友可以了解下...2021-09-22- 这篇文章主要介绍了C# 使用HttpClient模拟请求的案例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-10-21
- 这篇文章主要介绍了Java httpClient介绍以及使用示例,帮助大家更好的利用Java实现HTTP请求,感兴趣的朋友可以了解下...2020-10-16
- 这篇文章主要介绍了使用HTTPclient保持长连接,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-10-23
Spring远程调用HttpClient/RestTemplate的方法
这篇文章主要介绍了Spring远程调用HttpClient/RestTemplate的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-06通过HttpClient 调用ASP.NET Web API示例
本篇文章主要介绍了通过HttpClient 调用ASP.NET Web API示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2021-09-22- 这篇文章主要介绍了Feign 使用HttpClient和OkHttp方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-10-02
页面间隔半秒钟更新时间 Asp.net使用Comet开发http长连接示例分享
Comet(Reverse AJAX)主要是通过HTTP长连接, 保持和服务器的连接,实现Server PUSH 和双向通信,下面通过示例学习他的使用方法...2021-09-22C# 使用Fiddler捕获本地HttpClient发出的请求操作
这篇文章主要介绍了C# 使用Fiddler捕获本地HttpClient发出的请求操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-10-21java 利用HttpClient PostMethod提交json数据操作
这篇文章主要介绍了java 利用HttpClient PostMethod提交json数据操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-22在ASP.NET Core中用HttpClient发送POST, PUT和DELETE请求
这篇文章主要介绍了在ASP.NET Core中用HttpClient发送POST, PUT和DELETE请求的方法,帮助大家更好的理解和学习使用ASP.NET Core,感兴趣的朋友可以了解下...2021-09-22ASP.NET MVC Web API HttpClient简介
依稀还记得那个时候用WebClient,HttpWebRequest来发送一个请求,现在ASP.NET MVC4中自带了一个类HttpClient;需要的朋友可以参考下...2021-09-22完成OSS.Http底层HttpClient重构封装 支持标准库
OSS.Http项目对于.Net Standard标准库的支持已经迁移完毕,OSS开源系列两个最底层的类库已经具备跨运行时支持的能力。本篇文章主要包含 1. HttpClient的介绍,2. 重构的思路, 3. 容易遇到的问题。具有很好的参考价值,下面跟着小编一起来看下吧...2020-06-25- 这篇文章主要给大家介绍了关于.NET CORE HttpClient的使用方法,文中通过示例代码介绍的非常详细,对大家的学习或者使用.NET CORE具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧...2021-09-22
Asp.Net Core2.1前后使用HttpClient的两种方式
这篇文章主要给大家介绍了关于Asp.Net Core2.1前后HttpClient的使用方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧...2021-09-22