注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

xiaozhuge0825的博客

 
 
 

日志

 
 

MPM模块优化  

2010-07-01 10:08:36|  分类: 性能优化 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
http://www.chinalinuxpub.com/read.php?wid=719
Apache 2.0在性能上的改善最吸引人。在支持POSIX线程的Unix系统上,
Apache能通过不同的MPM运行在一种多进程和多线程相混合的模式下,增强部分设置的可扩充性能。相比于Apache 1.3,2.0版本做了大量
的优化来提升处理能力和可伸缩性,并且大多数改进在默认状态下即可生效。不过在编译和运行时刻,2.0也有许多能显著提高性能的选择。本文不想叙述那些
以功能换取速度的指令,如HostnameLookups等,而只是说明在2.0中影响性能的最核心特性:MPM(Multi -
Processing Modules,多道处理模块)的基本工作原理和设置指令。
  毫不夸张地说,MPM的引入是
Apache 2.0最重要的变化。大家知道,Apache是基于模块化的设计,而Apache 2.0更扩展了模块化设计到Web服务器的最基本功能。
服务器装载了一种多道处理模块,负责绑定本机网络端口、接受请求,并调度子进程来处理请求。扩展模块化设计有两个重要好处:
  ◆ Apache能更简洁、有效地支持多种操作系统;
  ◆ 服务器能按站点的特别需要进行自制定。
  在用户级,MPM看起来和其他Apache模块非常类似。主要差别是在任意时刻只能有一种MPM被装载到服务器中。
  指定MPM的方法
 
 下面以Red Hat Linux 9为平台,说明在Apache 2.0中怎么指定MPM (Apache采用2.0.45)。先解压缩原始码包
httpd-2.0.45.tar.gz,生成httpd-2.0.45目录(Apache 1.3原始码包的命名规则是
apache_1.3.NN.tar.gz,而2.0版则是httpd-2.0.NN.tar.gz,其中NN是次版本号)。
  进入httpd-2.0.45目录,运行以下代码:
 $ ./configure --help|grep mpm
  显示如下:
--with-mpm=MPM
Choose the process model for Apache to use.
MPM={beos|worker|prefork|mpmt_os2| perchild|leader|threadpool}
 
 上述操作用来选择要使用的进程模型,即哪种MPM模块。Beos、mpmt_os2分别是BeOS和OS/2上缺省的MPM, perchild主要设
计目的是以不同的用户和组的身份来运行不同的子进程。这在运行多个需要CGI的虚拟主机时特别有用,会比1.3版中的SuExec 机制做得更好。
leader和threadpool都是基于worker的变体,还处于实验性阶段,某些情况下并不会按照预期设想的那样工作,所以 Apache官方也
并不推荐使用。因此,我们主要阐述prefork和worker这两种和性能关系最大的产品级MPM ( 有关其他的MPM周详说明,请参见Apache
官方文件:
http://httpd.apache.org/docs-2.0/mod/)

  prefork的工作原理及设置
 
 如果不用“--with-mpm”显式指定某种MPM,prefork就是Unix平台上缺省的MPM。他所采用的预派生子进程方式也是
Apache 1.3中采用的模式。prefork本身并没有使用到线程,2.0版使用他是为了和1.3版保持兼容性;另一方面,prefork用独立
的子进程来处理不同的请求,进程之间是彼此独立的,这也使其成为最稳定的MPM之一。
  若使用prefork,在make编译和
make install安装后,使用“httpd -l”来确定当前使用的MPM,应该会看到prefork.c(如果看到worker.c说明使用的
是worker MPM,依此类推)。再查看缺省生成的httpd.conf设置文件,里面包含如下设置段:
StartServers 5
MinSpareServers 5
MaxSpareServers 10
MaxClients 150
MaxRequestsPerChild 0
 
 prefork的工作原理是,控制进程在最初建立“StartServers”个子进程后,为了满足MinSpareServers设置的需要创建一个
进程,等待一秒钟,继续创建两个,再等待一秒钟,继续创建四个……如此按指数级增加创建的进程数,最多达到每秒32个,直到满足
MinSpareServers设置的值为止。这就是预派生(prefork)的由来。这种模式能不必在请求到来时再产生新的进程,从而减小了系统开
销以增加性能。
  MaxSpareServers设置了最大的空闲进程数,如果空闲进程数大于这个值,Apache会自动kill
掉一些多余进程。这个值不要设得过大,但如果设的值比MinSpareServers小,Apache会自动把其调整为MinSpareServers+
1。如果站点负载较大,可考虑同时加大MinSpareServers和MaxSpareServers。
  
MaxRequestsPerChild设置的是每个子进程可处理的请求数。每个子进程在处理了“MaxRequestsPerChild” 个请求后将
自动销毁。0意味着无限,即子进程永不销毁。虽然缺省设为0能使每个子进程处理更多的请求,但如果设成非零值也有两点重要的好处:
  ◆ 可防止意外的内存泄漏;
  ◆ 在服务器负载下降的时侯会自动减少子进程数。
  因此,可根据服务器的负载来调整这个值。笔者认为10000左右比较合适。
 
 MaxClients是这些指令中最为重要的一个,设定的是Apache能同时处理的请求,是对Apache性能影响最大的参数。其缺省值 150是
远远不够的,如果请求总数已达到这个值(可通过ps -ef|grep http|wc -l来确认),那么后面的请求就要排队,直到某个已处理请求完
毕。这就是系统资源还剩下非常多而HTTP访问却非常慢的主要原因。系统管理员能根据硬件设置和负载情况来动态调整这个值。虽然理论上这个值越大,能处理
的请求就越多,但Apache默认的限制不能大于256。如果把这个值设为大于256,那么 Apache将无法起动。事实上,256对于负载稍重的站点
也是不够的。在Apache 1.3中,这是个硬限制。如果要加大这个值,必须在“configure”前手工修改的原始码树下的
src/include/httpd.h中查找 256,就会发现“#define HARD_SERVER_LIMIT 256”这行。把256改为要
增大的值(如4000),然后重新编译Apache即可。在Apache 2.0中新加入了ServerLimit指令,使得无须重编译Apache就可
以加大MaxClients。下面是笔者的prefork设置段:
StartServers 10
MinSpareServers 10
MaxSpareServers 15
ServerLimit 2000
MaxClients 1000
MaxRequestsPerChild 10000
  上述设置中,ServerLimit的最大值是20000,对于大多数站点已足够。如果一定要再加大这个数值,对位于原始码树下server/mpm/prefork/prefork.c中以下两行做相应修改即可:
#define DEFAULT_SERVER_LIMIT 256
#define MAX_SERVER_LIMIT 20000
ServerLimit指令对于
prefork
MPM,这个指令设置了
MaxClients
最大允许设置的数值。对于
worker
MPM,这个指令和
ThreadLimit
结合使用设置了
MaxClients
最大允许设置的数值。所有在重启期间对这个指令的改动都将被忽略,但对
MaxClients
的修改却会生效。
    使用这个指令时要特别当心。如果将ServerLimit设置成一个高出实际需要许多的值,将会有过多的共享内存被分配。如果将ServerLimit和
MaxClients
设置成超过系统的处理能力,Apache可能无法启动,或系统将变得不稳定。
    对于
prefork
MPM,只有在你需要将
MaxClients
设置成高于默认值256的时候才需要使用这个指令。要将此指令的值保持和
MaxClients
相同。
    对于
worker
MPM,只有在你需要将
MaxClients

ThreadsPerChild
设置成需要超过默认值16个子进程的时候才需要使用这个指令。不要将该指令的值设置的比
MaxClients

ThreadsPerChild
需要的子进程数量高。
    注意
      
Apache在编译时内部有一个硬限制"ServerLimit 20000"(对于
prefork
MPM为"ServerLimit 200000")。你不能超越这个限制。
   
  worker的工作原理及设置
 
 相对于prefork,worker是2.0 版中全新的支持多线程和多进程混合模型的MPM。由于使用线程来处理,所以能处理相对海量的请求,而系
统资源的开销要小于基于进程的服务器。不过, worker也使用了多进程,每个进程又生成多个线程,以获得基于进程服务器的稳定性。这种MPM的工作方
式将是Apache 2.0的发展趋势。
  在configure -with-mpm=worker后,进行make编译、make install安装。在缺省生成的httpd.conf中有以下设置段:
StartServers 2
MaxClients 150
MinSpareThreads 25
MaxSpareThreads 75
ThreadsPerChild 25
MaxRequestsPerChild 0
 
 worker的工作原理是,由主控制进程生成“StartServers”个子进程,每个子进程中包含固定的ThreadsPerChild 线程数,
各个线程独立地处理请求。同样,为了不在请求到来时再生成线程,MinSpareThreads和MaxSpareThreads设置了最少和最多的空闲
线程数;而MaxClients设置了所有子进程中的线程总数。如果现有子进程中的线程总数不能满足负载,控制进程将派生新的子进程。
  MinSpareThreads和MaxSpareThreads的最大缺省值分别是75和250。这两个参数对Apache的性能影响并不大,能按照实际情况相应调节。
 
 ThreadsPerChild是worker MPM中和性能相关最密切的指令。ThreadsPerChild的最大缺省值是64,如果负载较大,
64也是不够的。这时要显式使用 ThreadLimit指令,他的最大缺省值是20000。上述两个值位于源码树
server/mpm/worker/worker.c中的以下两行:
#define DEFAULT_THREAD_LIMIT 64
#define MAX_THREAD_LIMIT 20000
  这两行对应着ThreadsPerChild和ThreadLimit的限制数。最佳在configure之前就把64改成所希望的值。注意,不要把这两个值设得太高,超过系统的处理能力,从而因Apache不起动使系统非常不稳定。
 
 Worker模式下所能同时处理的请求总数是由子进程总数乘以ThreadsPerChild值决定的,应该大于等于MaxClients。如果负载非常
大,现有的子进程数不能满足时,控制进程会派生新的子进程。默认最大的子进程总数是16,加大时也需要显式声明ServerLimit(最大值是
20000)。这两个值位于源码树server/mpm/worker/worker.c中的以下两行:
#define DEFAULT_SERVER_LIMIT 16
#define MAX_SERVER_LIMIT 20000
 
 需要注意的是,如果显式声明了ServerLimit,那么他乘以ThreadsPerChild的值必须大于等于MaxClients,而且
MaxClients必须是ThreadsPerChild的整数倍,否则Apache将会自动调节到一个相应值(可能是个非期望值)。下面是笔者的
worker设置段:
StartServers 3
MaxClients 2000
ServerLimit 25
MinSpareThreads 50
MaxSpareThreads 200
ThreadLimit 200
ThreadsPerChild 100
MaxRequestsPerChild 0
  通过上面的叙述,能了解到Apache 2.0中prefork和worker这两个重要MPM的工作原理,并可根据实际情况来设置Apache相关的核心参数,以获得最大的性能和稳定性。
  评论这张
 
阅读(300)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018