CloseableHttpClient填坑经历 资源回收 最大连接数
因为项目中的一些原因，部分网络请求无法使用封装好的RestTemplate，只好使用CloseableHttpClient，这才有了以下的填坑经历，如果可以，这些知识点学习就好，项目中还是使用封装好的组件比较妥当。
问题场景：
在使用CloseableHttpClient的请求中，都是一样的请求，只是会分发到不同的服务器，在这些服务器中，唯独有一台服务器在一些操作之后，到该服务器的连接都失败吗，报504 Gateway Timeout；
经过排查，排除了服务器的原因；
后续测试发现，是若到某个服务器的某些请求因为某些原因失败两次后，后续到该服务器的请求都将失败，而到该服务器的其他请求依旧正常；
问题原因
具体分析过程不再赘述，直接上结果：
在CloseableHttpClient中，有最大连接数的限制，默认值为：
1、 单个Host域名，最大连接数为2；
2、 整个客户端内，总共最大连接数为20；
上面第一点是最骚的，竟然还会限制单个域名下的请求数，一下就和问题场景对上了；
问题修复
修复一：改连接数限制
经过分析，很明显直接把默认的请求数限制改大一点就能解决问题：
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
cm.setMaxTotal(XXX);//连接池最大并发连接数
cm.setDefaultMaxPerRoute(XXX);//单域名下最大连接数
CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
但是这治标不治本，不从根本找出连接被占满的原因，再大的连接限制也终究是会被撑爆的，且看改进。
修复二：
我的实现是一个请求函数，其内部基本是下面这样的
String errMsg;
HttpResponse response = closeableHttpClient.execute(myRequest);
HttpEntity resEntity = response.getEntity();
if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK && resEntity != null) {
return EntityUtils.toString(resEntity, StandardCharsets.UTF_8);
} else {
LOG.debug(JSON.toJSONString(response));
errMsg = response.getStatusLine().getReasonPhrase();
}
throw new HttpException(errMsg);
很显然，平时使用Connection的话需要手动关闭的连接这边都没有出现，那么怎么关闭呢？
在CloseableHttpClient内部是一个连接池，我们请求结束后，需要尽快释放连接，避免后面的请求因为没有连接阻塞超时，最终失败，而释放连接可以从三个方面入手：
- 在execute(httpRequest)中，httpRequest是可以关闭的，
httpRequest.releaseConnection(); -
HttpResponse response = closeableHttpClient.execute(myRequest)中，execute的response是继承了Closeable的，HttpResponse 改为CloseableHttpResponse，并在请求结束后主动关闭； -
HttpEntity resEntity = response.getEntity();，这里的resEntity内部实际上有一个输入流，我们在EntityUtils.toString(resEntity, StandardCharsets.UTF_8);已经将该流关闭了，而若请求失败的话，则没有被关闭的操作，所以可以调用EntityUtils.consumeQuietly(resEntity);主动关闭
所以，在源头上避免连接被耗尽，我们需要及时释放资源，以上修改完成代码如下：
String errMsg;
// 自动关闭返回
try (CloseableHttpResponse response = closeableHttpClient.execute(signedRequest)){
HttpEntity resEntity = response.getEntity();
if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK
&& resEntity != null) {
// toString方法内已关闭流
return EntityUtils.toString(resEntity, StandardCharsets.UTF_8);
} else {
// 主动关闭内部的输入流
EntityUtils.consumeQuietly(resEntity);
LOG.debug(JSON.toJSONString(response));
errMsg = response.getStatusLine().getReasonPhrase();
}
} catch (Exception e){
// do your business
} finally {
// 主动释放连接
signedRequest.releaseConnection();
}
throw new HttpException(errMsg);
总结
经过以上第一种修改，相当于客户端容量增大了，能更好的容忍请求时间较长、并发数大等情况，而第二种修改则从源头上保证了每个连接使用的高效性，避免无用连接占用资源，请求结束后都能够得到有效释放，二者结合，将最大程度的提高服务器的并发数。
