connection pool setting 干货必须收藏!

如果很多资源的使用如果不从共享资源池中里面获取,极容易造成内存泄漏和内存溢出。要想实现高并发并且合理利用资源,大部分设计方案都会用到各种连接池,线程池等等。所有的可重复利用资源均从一组资源池中进行调用。也类似于近几年火爆的共享经济,然而共享经济就和软件设计中的共享资源池类似。不单独持有某个资源,在需要使用的时候再去资源池中进行申请。

下面我们盘一盘各种资源共享池的一些配置,以及优化策略!

1 Tomcat中的各种connection

废话少说,我们看一下一个简单的SpringBoot tomcat配置

1
2
3
4
5
6
7
server:
  tomcat:
    accept-count: 500 //accept队列长度
    max-connections: 1000//最大连接数
    threads:
      max: 200 //最大工作线程数量
      min-spare: 10 //最小工作线程数量

HTTP Connector

其工作流程如下:

  1. 每个非异步请求都需要一个线程来处理,如果并发请求大于当前可处理的线程数量,则会创建额外的线程来处理,至多创建到maxThreads 的数量。
  2. 此时仍然接收到更多的并发请求,Tomcat会接受新的connection,直到connection数到达最大数maxConnections。此时这些connection会在Connector中创建的 server socket中排队,直到有线程可以来处理这些connection。
  3. 一旦上面的排队数量达到maxC onnections,然后还有新的请求进来,那么新进来的connection会在OS中排队,操作系统提供的排队数量为acceptCount。如果这个队列满了的话,后面进来的请求有可能被拒绝或者超时timeout

关于这个咱们讲一个食堂干饭的例子:

img

  • 某学校有一个食堂,大厅里面日常至少摆100把椅子(min-spare)供学生们吃饭。

  • 然而当同时吃饭的同学大于100人的时候,食堂会增加一些椅子(创建线程),并且这些椅子也不会立马收回去,一段时间没有人使用才会收回。
  • 但是食堂里面最多可以摆500把椅子(maxThreads)。 然后超过500人吃饭同时吃饭的话,其他人就只能在大厅里面排队等别人吃完。食堂大厅里面可以容纳1000人进行排队等候(maxConnections)。
  • 当食堂大厅1000人都排满了,那么就只能到食堂外面排队了,外面排队最多一直能排200人(acceptCount)。 这个时候如果再有人过来要吃饭,而且还排不上队,就会等到不耐烦(time out),也会有人来告诉后来的同学,别来了人都满了,上其他地方吃饭去吧。(reject)

通过上面的例子,我相信大家都能清楚tomcat的一些基本参数配置作用,并且针对不同的情况进行调优了。

2 ThreadPool

关于Java线程池,大家都比较熟悉了吧。下面是基本参数

1
2
3
4
5
6
7
8
9
public ThreadPoolExecutor(
    int corePoolSize, //核心线程数
    int maximumPoolSize,//最大线程数
    long keepAliveTime, //大于核心线程数量的线程存活时间,如果没有新任务就会关闭
    TimeUnit unit, // 时间单位
    BlockingQueue<Runnable> workQueue, //线程等待队列
    ThreadFactory threadFactory,//创建线程的工厂
    RejectedExecutionHandler handler//拒绝策略
) {

线程池基本运行原理介绍

  1. 提交任务给线程池后,线程池会检查线程池中正在运行的线程数量,如果线程数量小于核心线程,则创建一个新的线程来处理任务。
  2. 如果线程池中线程数量达到和corePoolSize的大小,则将线程放入等待队列BlockingQueue中。
  3. 如果提交任务时连等待队列都已经满了的话,线程池会继续创建新的线程来处理任务,直到线程池数量达到maximumPoolSize。
  4. 如果线程数量达到了最大容量,则会执行拒绝策略。

这里线程池的方案和tomcat Connector 的方案稍微有点不同。前者是先排队然后再把池子容量扩大代最大,后者是先扩大池子,然后再排2个队。

我觉得对于ThreadPoolExecutor线程池的理解,用工厂工人的例子比较好理解。

  • 有一家工厂建立,开始的时候只有10个工人,然后工厂的活越来越多,招聘新的工人肯定不是最好的策略,所以多出来的活暂时只能等着,进行排队。(这个例子中工厂的活多了,立马去招人肯定是不可能,只能先排单)
  • 后面工厂的业务越来越多,任务挤压过多,原来的工人干活已经不能满足业务需求了。为了最大化效益,招聘新的工人势在必行,于是就招聘了新的工人,所有的工人一起来干活,加快效率。
  • 当工厂的工人数量达到饱和之后,仍然不停的新增业务,此时工厂已经饱和,没有办法再继续接单。那么只能采取别的方案(拒绝策略),找别的工厂干,或者新建工厂。
  • 当后面业务量比较小的时候,新招的工人就会慢慢的裁剪(线程一段时间不使用就会关掉!)。

对线程池的优化思路:

  • 如果线程需要执行的任务耗时比较少,是High CPU类型,则核心线程数量可以根据CPU的核数来进行设置。最大线程数量也不应该设置的太大。线程队列可以根据使用场景设置大一点,提高线程池效率。
  • 如果线程需要执行的任务耗时比较长,是High IO型,依赖其他系统,CPU需要等待的时间比较长,则核心线程数可以大一点,相应的线程队列长度也应该针对不同的使用场景进行调整。
  • 线程数量也不宜设置过大,不然会导致频繁的GC。

3 RestTemplate的坑与优化

SpringBoot微服务与其他Restful的资源进行交互的时候会使用到RestTemplate。如果你直接new RestTemplate,那么就需要特别注意了。使用不慎就会造成内存泄漏,引发GC等。

RestTemplate底层依旧是使用org.apache.http包下的HttpClient。

SpringBoot中可以通过PoolingHttpClientConnectionManager设置一些connection pool 的参数

1
2
3
PoolingHttpClientConnectionManager connectionPoolManager = new PoolingHttpClientConnectionManager();
connectionPoolManager.setMaxTotal(100);//最大连接数
connectionPoolManager.setDefaultMaxPerRoute(200);//

通过HttpRequestFactory可以设置connectTimeOut,connectionRequestTimeout,SocketTimeout

1
2
3
4
HttpComponentsClientHttpRequestFactory httpRequestFactory = new HttpComponentsClientHttpRequestFactory();
        httpRequestFactory.setConnectionRequestTimeout(3000);//获取链接超时时间
        httpRequestFactory.setConnectTimeout(3000);// 指客户端和服务器建立连接的timeout
        httpRequestFactory.setReadTimeout(120000);// 读取数据的超时时间

小结一下比较重要的几个参数如下:

maxTotal : 连接池里面的最大连接数

defaultMaxPerRoute : 每个路由默认接收的最大连接数

socketTimeout :它是指客户端和服务器建立连接后,客户端从服务器读取数据的超时时间,超出后会抛出SocketTimeOutException。

connectionRequestTimout:指从连接池获取连接的timeout

connetionTimeout:指客户端和服务器建立连接的timeout。

可以通过如下方式构建RestTemplate,其中的参数也可以自定以从配置文件中引入。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@Bean
public  RestTemplate buildPoolingRestTemplate(RestTemplateBuilder builder){
    PoolingHttpClientConnectionManager connectionPoolManager = new PoolingHttpClientConnectionManager();
    connectionPoolManager.setMaxTotal(100);//最大连接数
    connectionPoolManager.setDefaultMaxPerRoute(200);//每个路由默认接收的最大连接数

    HttpClient httpClient = HttpClientBuilder.create()
            .setConnectionManager(connectionPoolManager).build();

    HttpComponentsClientHttpRequestFactory httpRequestFactory = new HttpComponentsClientHttpRequestFactory();
    httpRequestFactory.setHttpClient(httpClient);
    httpRequestFactory.setConnectionRequestTimeout(3000);//获取链接超时时间
    httpRequestFactory.setConnectTimeout(3000);// 指客户端和服务器建立连接的timeout
    httpRequestFactory.setReadTimeout(120000);// socketTimeout 读取数据的超时时间
    
    return builder.requestFactory(()-> httpRequestFactory).build();
}

对于RestTemplate的一些建议

  • 应该从资源池中获取RestTemplate(PoolingHttpClientConnectionManager)
  • 使用RestTemplateBuilder来创建RestTemplate
  • 针对maxTotal ,defaultMaxPerRoute ,可以增大maxTotal以增大并发量,同时也需要调整每个路由的最大并发连接数,此时也可以提高某条路由的并发量。
  • connectionRequestTimeout和connectTimeout设置不要太长,socketTimeout根据需求可以设置相应的时间。
  • 当然还有其他的一些优化的地方,比如使用不同的ConnectionKeepAliveStrategy等,设置maxIdleTime最大空闲时间等。

总结

本篇总结了Tomcat,线程池,RestTemplate 的一些日常优化策略。平时应该多注意总结,在不同的情况下,优化参数均有不同。所以就要多一些测试,才能得到最好的配置。看完这些不妨在项目中试一下,增墙记忆。如果还有什么想法,不妨在评论区留言。

Java Geek Tech wechat
欢迎订阅 Java 技术指北,这里分享关于 Java 的一切。