2- Tomcat与高并发 - 好文

操作系统对于进程中的线程数有一定的限制：

* Windows 每个进程中的线程数不允许超过 2000
* Linux 每个进程中的线程数不允许超过 1000
* 在Java中每开启一个线程需要耗用1MB的JVM内存空间用于作为线程栈之用，此处也应考虑
* 实际运用中，最大并发数与硬件性能和CPU数量都有很大关系的。更好的硬件，更多的处理器都会使Tomcat支持更多的并发。
*

* 用户平均请求等待时间：
* 服务器平均请求处理时间：
* 用户平均请求等待时间主要用于衡量服务器在一定并发用户数的情况下，对于单个用户的服务质量
* 服务器平均请求处理时间与前者相比，则用户衡量服务器的整体服务质量，它其实就是吞吐率的倒数。
TPS (transaction per second)   transaction 事物

QPS（TPS）：每秒钟request/事务数量

吞吐率：是指每秒的处理的请求数量／传输的数据量

吞吐量：一个时间段内处理的请求数量/传输的数据量。

最大并发数：瞬间最大的并发请求数量(不会timeout)。

最大并发用户数是指在某一时刻同时向服务器发送请求的用户总数（不会timeout）

通过不断增加并发用户数和吞吐量观察系统的性能瓶颈。然后，从网络、数据库、应用服务器和代码本身4个环节确定系统的性能瓶颈。

并发数、QPS、平均响应时间三者之间关系

绿色- cpu、mem使用率

紫色- 成功处理数/秒

蓝色- 平均耗时

第一个虚线是最佳并发数，第二个虚线是最高并发数

二、软件性能的几个主要术语

1、响应时间：对请求作出响应所需要的时间

网络传输时间：N1+N2+N3+N4

应用服务器处理时间：A1+A3

数据库服务器处理时间：A2

响应时间=N1+N2+N3+N4+A1+A3+A2

2、并发用户数的计算公式

系统用户数：系统额定的用户数量，如一个OA系统，可能使用该系统的用户总数是5000个，那么这个数量，就是系统用户数。

同时在线用户数：在一定的时间范围内，最大的同时在线用户数量。
同时在线用户数=每秒请求数RPS（吞吐量）+并发连接数+平均用户思考时间

平均并发用户数的计算：C=nL / T

其中C是平均的并发用户数，n是平均每天访问用户数（login session），L是一天内用户从登录到退出的平均时间（login
session的平均时间），T是考察时间长度（一天内多长时间有用户使用系统）

并发用户数峰值计算：C^约等于C + 3*根号C

其中C^是并发用户峰值，C是平均并发用户数，该公式遵循泊松分布理论。

即：

并发用户为      平均每天用户数 *   平均每个用户操作的时间   除以   一天系统被使用的总时间

3、吞吐量的计算公式

指单位时间内系统处理用户的请求数

从业务角度看，吞吐量可以用：请求数/秒、页面数/秒、人数/天或处理业务数/小时等单位来衡量

从网络角度看，吞吐量可以用：字节/秒来衡量

对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，他能够说明系统的负载能力

以不同方式表达的吞吐量可以说明不同层次的问题，例如，以字节数/秒方式可以表示数要受网络基础设施、服务器架构、应用服务器制约等方面的瓶颈；已请求数/秒的方式表示主要是受应用服务器和应用代码的制约体现出的瓶颈。

当没有遇到性能瓶颈的时候，吞吐量与虚拟用户数之间存在一定的联系，可以采用以下公式计算：F=VU * R /

其中F为吞吐量，VU表示虚拟用户个数，R表示每个虚拟用户发出的请求数，T表示性能测试所用的时间

4、性能计数器

是描述服务器或操作系统性能的一些数据指标，如使用内存数、进程时间，在性能测试中发挥着“监控和分析”的作用，尤其是在分析统统可扩展性、进行新能瓶颈定位时有着非常关键的作用。

资源利用率：指系统各种资源的使用情况，如cpu占用率为68%，内存占用率为55%，一般使用“资源实际使用/总的资源可用量”形成资源利用率。

5、思考时间的计算公式

Think
Time，从业务角度来看，这个时间指用户进行操作时每个请求之间的时间间隔，而在做新能测试时，为了模拟这样的时间间隔，引入了思考时间这个概念，来更加真实的模拟用户的操作。

在吞吐量这个公式中F=VU * R / T说明吞吐量F是VU数量、每个用户发出的请求数R和时间T的函数，而其中的R又可以用时间T和用户思考时间TS来计算：R
= T / TS

下面给出一个计算思考时间的一般步骤：

A、首先计算出系统的并发用户数

C=nL / T F=R×C

B、统计出系统平均的吞吐量

F=VU * R / T R×C = VU * R / T

C、统计出平均每个用户发出的请求数量

R=u*C*T/VU

D、根据公式计算出思考时间

TS=T/R

tomcat 高并发配置与优化 <http://www.cnblogs.com/austinspark-jessylu/p/5777469.html>

公司的一个服务器使用Tomcat6默认配置，在后台一阵全点击服务器就报废了，查了一下就要是PERMSIZE默认值过小造成（16-64）

TOMCAT_HOME/bin/catalina.sh

添加一行：JAVA_OPTS=" -XX:PermSize=64M -XX:MaxPermSize=128m"

问题解决（可能为调用JAR包过多原因）下面是网上看到一些设置

JAVA_OPTS="-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m
-XX:MaxPermSize=128m -Djava.awt.headless=true "

当在对其进行并发测试时，基本上30个USER上去就当机了，还要修改默认连接数设置：以下红色四行TOMCAT6中好相没有，手工加上就可以了，基本上可以解决连接数过大引起的死机。具体数值可跟据实际情况设置

    <Connector port="80" protocol="HTTP/1.1"
               maxThreads="600"
minSpareThreads="100"
maxSpareThreads="500"
acceptCount="700"
connectionTimeout="20000"
redirectPort="8443" />

这样设置以后，基本上没有再当机过。。。。。

              maxThreads="600"       ///最大线程数
minSpareThreads="100"///初始化时创建的线程数
maxSpareThreads="500"///一旦创建的线程超过这个值，Tomcat就会关闭不再需要
的socket线程。

acceptCount="700"//指定当所有可以使用的处理请求的线程数都被使用时，可以放到处理队列中的请求数，超过这个数的请求将不予处理

一、Tomcat的JVM提示内存溢出

查看%TOMCAT_HOME%\logs文件夹下，日志文件是否有内存溢出错误

二、修改Tomcat的JVM

1、错误提示：java.lang.OutOfMemoryError: Java heap space

Tomcat默认可以使用的内存为128MB，在较大型的应用项目中，这点内存是不够的，有可能导致系统无法运行。常见的问题是报Tomcat内存溢出错误，Out
of Memory(系统内存不足)的异常，从而导致客户端显示500错误，一般调整Tomcat的使用内存即可解决此问题。

Windows环境下修改“%TOMCAT_HOME%\bin\catalina.bat”文件，在文件开头增加如下设置：set
JAVA_OPTS=-Xms256m -Xmx512m

Linux环境下修改“%TOMCAT_HOME%\bin\catalina.sh”文件，在文件开头增加如下设置：JAVA_OPTS=’-Xms256m
-Xmx512m’

其中，-Xms设置初始化内存大小，-Xmx设置可以使用的最大内存。

2、错误提示：java.lang.OutOfMemoryError: PermGen space

原因：
PermGen space的全称是Permanent Generation space,是指内存的永久保存区域，这块内存主要是被JVM存
放Class和Meta信息的,Class在被Loader时就会被放到PermGen space中，它和存放类实例(Instance)的
Heap区域不同,GC(Garbage Collection)不会在主程序运行期对PermGen space进行清理，所以如果你的应用
中有很CLASS的话,就很可能出现PermGen space错误，这种错误常见在web服务器对JSP进行pre compile的
时候。如果你的WEB APP下都用了大量的第三方jar, 其大小超过了jvm默认的大小(4M)那么就会产生此错误信
息了。
解决方法：

在catalina.bat的第一行增加：
set JAVA_OPTS=-Xms64m -Xmx256m -XX:PermSize=128M -XX:MaxNewSize=256m -
XX:MaxPermSize=256m
在catalina.sh的第一行增加：
JAVA_OPTS=-Xms64m -Xmx256m -XX:PermSize=128M -XX:MaxNewSize=256m -
XX:MaxPermSize=256m

3、JVM设置

堆的尺寸
-Xmssize in bytes
    设定Java堆的初始尺寸，缺省尺寸是2097152
(2MB)。这个值必须是1024个字节（1KB）的倍数，且比它大。（-server选项把缺省尺寸增加到32M。）
-Xmnsize in bytes
    为Eden对象设定初始Java堆的大小，缺省值为640K。（-server选项把缺省尺寸增加到2M。)
-Xmxsize in bytes
    设定Java堆的最大尺寸，缺省值为64M，（-server选项把缺省尺寸增加到128M。）最大的堆尺寸达到将近2GB（2048MB）。

请注意：很多垃圾收集器的选项依赖于堆大小的设定。请在微调垃圾收集器使用内存空间的方式之前，确认是否已经正确设定了堆的尺寸。

垃圾收集:内存的使用
-XX:MinHeapFreeRatio=percentage as a whole number
    修改垃圾回收之后堆中可用内存的最小百分比，缺省值是40。如果垃圾回收后至少还有40%的堆内存没有被释放，则系统将增加堆的尺寸。
-XX:MaxHeapFreeRatio=percentage as a whole number
    改变垃圾回收之后和堆内存缩小之前可用堆内存的最大百分比，缺省值为70。这意味着如果在垃圾回收之后还有大于70%的堆内存，则系统就会减少堆的尺寸。
-XX:NewSize=size in bytes
    为已分配内存的对象中的Eden代设置缺省的内存尺寸。它的缺省值是640K。（-server选项把缺省尺寸增加到2M。）
-XX:MaxNewSize=size in bytes
    允许您改变初期对象空间的上限，新建对象所需的内存就是从这个空间中分配来的，这个选项的缺省值是640K。（-server选项把缺省尺寸增加到2M。）
-XX:NewRatio=value
    改变新旧空间的尺寸比例，这个比例的缺省值是8，意思是新空间的尺寸是旧空间的1/8。
-XX:SurvivorRatio=number
    改变Eden对象空间和残存空间的尺寸比例，这个比例的缺省值是10，意思是Eden对象空间的尺寸比残存空间大survivorRatio+2倍。
-XX:TargetSurvivorRatio=percentage
    设定您所期望的空间提取后被使用的残存空间的百分比，缺省值是50。
-XX:MaxPermSize=size in MB
    长久代（permanent generation）的尺寸，缺省值为32（32MB）。

三、查看Tomcat的JVM内存

1. Tomcat6中没有设置任何默认用户，因而需要手动往Tomcat6的conf文件夹下的tomcat-users.xml文件中添加用户。

    如：<role rolename="manager"/>
          <user username="tomcat" password="tomcat" roles="manager"/>

    注：添加完需要重启Tomcat6。

2. 访问http://localhost:8080/manager/status，输入上面添加的用户名和密码。

3. 然后在如下面的JVM下可以看到内存的使用情况。

四、Tomcat连接数设置

在tomcat配置文件server.xml中的<Connector ... />配置中，和连接数相关的参数有：
minProcessors：最小空闲连接线程数，用于提高系统处理性能，默认值为10
maxProcessors：最大连接线程数，即：并发处理的最大请求数，默认值为75
acceptCount：允许的最大连接数，应大于等于maxProcessors，默认值为100
enableLookups：是否反查域名，取值为：true或false。为了提高处理能力，应设置为false
connectionTimeout：网络连接超时，单位：毫秒。设置为0表示永不超时，这样设置有隐患的。通常可设置为30000毫秒。

其中和最大连接数相关的参数为maxProcessors和acceptCount。如果要加大并发连接数，应同时加大这两个参数。

提高Tomcat的并发能力一些方法
1、Apache +
Tomcat 结合起来用Apache 负责静态页面，Tomcat负责动态页面，同时减少connectionTimeout的时间，以应对并发量大线程回收来不及的情况。

2、压力过大的问题，可以做负载均衡，一个TOMCAT无论如何也不可能担当如此多的线程负载，而且JVM过大，其内存管理成本将显著加大。2G的内存，做3-4个TOMCAT实例（512RAM*4），更为科学合理。
3、数据库连接池，不少人，都推荐使用C3P0，能提高访问数据库的并发性能好几倍。（有博文称使用tomcat自带的jdbc-pool更好，还没试过）

4、采用Tomcat集群可以最大程度的发挥服务器的性能，可以在配置较高的服务器上部署多个Tomcat，也可以在多台服务器上分别部署 Tomcat，Apache和Tomcat整合的方式还是JK方式。经过验证，系统对大用户量使用的响应方面，Apache+3Tomccat集群>
Apache+2Tomcat集群> Apache集成Tomcat
>单个Tomcat。并且采用Apache+多Tomcat集群的部署方式时，如果一个Tomcat出现宕机，系统可以继续使用，所以在硬件系统性能足够优越的情况下，需要尽量发挥软件的性能，可以采用增加Tomcat集群的方式。
5. 打开KeepAlive支持
KeepAlive on, KeepAliveTimeout 15 MaxKeepAliveRequests 1000

根据实际经验，通过Apache和Tomcat集群的方式提高系统性能的效果十分明显，这种方式可以最大化的利用硬件资源，通过多个Tomcat的处理来分担单Tomcat时的压力。
web server允许的最大连接数还受制于操作系统的内核参数设置，通常Windows是2000个左右，Linux是1000个左右

omcat运行在JVM之上，它和HTTP服务器一样，绑定IP地址并监听TCP端口，同时还包含以下指责：

* 管理Servlet程序的生命周期
* 将URL映射到指定的Servlet进行处理
*
与Servlet程序合作处理HTTP请求——根据HTTP请求生成HttpServletResponse对象并传递给Servlet进行处理，将Servlet中的HttpServletResponse对象生成的内容返回给浏览器
虽然Tomcat也可以认为是HTTP服务器，但通常它仍然会和Nginx配合在一起使用：

*
动静态资源分离——运用Nginx的反向代理功能分发请求：所有动态资源的请求交给Tomcat，而静态资源的请求（例如图片、视频、CSS、JavaScript文件等）则直接由Nginx返回到浏览器，这样能大大减轻Tomcat的压力。
*
负载均衡，当业务压力增大时，可能一个Tomcat的实例不足以处理，那么这时可以启动多个Tomcat实例进行水平扩展，而Nginx的负载均衡功能可以把请求通过算法分发到各个不同的实例进行处理
*
一、linux系统支持的最大进程数

       限制1：既然系统使用pid_t表示进程号，那么最大进程数不能超过pid_t类型的最大值吧

      限制2：使用命令ulimit
-u查看系统中限制的最大进程数，我的机器上是65535。/etc/security/limits.conf里面是硬限制，ulimit
-u是软限制，内核参数kernel.pid_max也做了限制。


限制3：受系统资源限制，创建一个新进程会消耗系统资源，最主要的就是内存，有人做过测试，在创建6千多个进程时，程序运行得很慢，通过vmstat命令观察，发现swap内存的置入置出很频繁，可以判断是由于内存不足，使用虚拟内存，导致频繁的IO操作，让测试代码变得很慢，所以创建过多进程时，系统的内存是重要衡量的一个方面。

二、单进程最大线程数

     linux 系统中单个进程的最大线程数有其最大的限制 PTHREAD_THREADS_MAX，这个限制可以在
/usr/include/bits/local_lim.h 中查看，对 linuxthreads 这个值一般是 1024，对于 nptl
则没有硬性的限制，仅仅受限于系统的资源，这个系统的资源主要就是线程的 stack 所占用的内存，用 ulimit -s
可以查看默认的线程栈大小，一般情况下，这个值是 8M。

       可以写一段简单的代码验证最多可以创建多少个线程
[cpp] view plain <http://blog.csdn.net/wangfeng2500/article/details/41292505#>
copy <http://blog.csdn.net/wangfeng2500/article/details/41292505#>
<https://code.csdn.net/snippets/525842>
<https://code.csdn.net/snippets/525842/fork>
* int main()
* {
*      int i = 0;
*      pthread_t thread;
*
*      while (1) {
*          if (pthread_create(&thread, NULL, foo, NULL) != 0)
*              return;
*          i ++;
*          printf("i = %d\n", i);
*      }
* }
试验显示，在 linuxthreads 上最多可以创建 381 个线程，之后就会返回 EAGAIN
在 nptl 上最多可以创建 382 个线程，之后就会返回 ENOMEM
这个值和理论完全相符，因为 32 位 linux 下的进程用户空间是 3G（32位下进程可寻址4G，3G为用户空间，1G为内核空间）的大小，也就是
3072M，用 3072M 除以 8M 得 384，但是实际上代码段和数据段等还要占用一些空间，这个值应该向下取整到 383，再减去主线程，得到 382。
那为什么 linuxthreads 上还要少一个线程呢？这可太对了，因为 linuxthreads 还需要一个管理线程
为了突破内存的限制，可以有两种方法
1) 用 ulimit -s 1024 减小默认的栈大小
2) 调用 pthread_create 的时候用 pthread_attr_getstacksize 设置一个较小的栈大小
要注意的是，即使这样的也无法突破 1024 个线程的硬限制，除非重新编译 C 库
三、设置连接数，即设置最大文件句柄数量，之前由于kafka连接数过高出现过无法创建新句柄的问题，处理方式为增加最大可打开文件数量。

热门工具换一换