Nginx 0.5.31 + PHP 5.2.4（FastCGI）搭建可承受3万以上并发连接数，胜过Apache 10倍的Web服务器[原创]

准备转化“故障转移群集解决方案”理论为实践

中秋节，都是月亮惹的祸：一个有意思的动漫视频

大 | 中 | 小

[

2007-9-24 18:56 | by 张宴 ]

　　本文已有最新版本：

　　请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》

　　[文章作者：张宴本文版本：v1.3 最后修改：2007.11.06 转载请注明出处：http://blog.zyan.cc]

　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。

　　Nginx 的中文维基：http://wiki.codemongers.com/NginxChs

　　在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

　　以下是 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下的TCP状况：

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

　　各种状态TCP连接数如下（各项值所代表的含义见我的另一篇文章《查看Apache并发请求数及其TCP连接状态》）：

引用

LAST_ACK 1
SYN_RECV 991
CLOSE_WAIT 1
ESTABLISHED 18789
FIN_WAIT1 1478
FIN_WAIT2 181
TIME_WAIT 506

　　根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。

　　而这台 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗100M内存（20MB*10=100M），开启的250个php-cgi进程消耗1G内存（4MB*250≈1GB），加上系统自身消耗的内存，总共才消耗2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才100M。在开启25个php-cgi进程的情况下，每分钟的处理能力只比开启250个php-cgi进程时低了不到一半。

　　以下为 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程和250个php-cgi进程时的系统负载情况：
　　

　　安装步骤：
　　（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 4.4）

　　一、获取相关开源程序：
　　1、下载程序源码包到当前目录：
　　本文中提到的所有开源软件为截止到2007年9月21日的最新稳定版。我将它们打了两个压缩包。

　　第一个压缩包：nginx_php_mysql_1.0_1of2.zip：
　　下载地址：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2289607

　　第二个压缩包：nginx_php_mysql_1.0_2of2.zip：
　　下载地址：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2289595

　　2、解压缩：

unzip nginx_php_mysql_1.0_1of2.zip
unzip nginx_php_mysql_1.0_2of2.zip

　　二、安装PHP 5.2.4（FastCGI模式）
　　1、编译安装PHP 5.2.4所需的支持库：

tar zxvf libiconv-1.11.tar.gz
cd libiconv-1.11/
./configure --prefix=/usr/local/webserver/lib/libiconv
make && make install
cd ../

tar zxvf freetype-2.3.5.tar.gz
cd freetype-2.3.5/
./configure --prefix=/usr/local/webserver/lib/freetype
make && make install
cd ../

tar zxvf libpng-1.2.20.tar.gz
cd libpng-1.2.20/
./configure
make && make install
cd ../

tar zxvf jpegsrc.v6b.tar.gz
cd jpeg-6b/
./configure --enable-static --enable-shared
make && make install
cd ../

tar zxvf gd-2.0.35.tar.gz
cd gd-2.0.35/
./configure --prefix=/usr/local/webserver/lib/gd --with-freetype=/usr/local/webserver/lib/freetype --with-jpeg --with-png
make
make install
cd ../

tar zxvf libxml2-sources-2.6.30.tar.gz
cd libxml2-2.6.30/
./configure --prefix=/usr/local/webserver/lib/libxml
make && make install
cd ../

　　2、编译安装MySQL 5.0.45

/usr/sbin/groupadd mysql
/usr/sbin/useradd -g mysql mysql
tar zxvf mysql-5.0.45.tar.gz
cd mysql-5.0.45
./configure --prefix=/usr/local/webserver/mysql/ --without-debug --with-unix-socket-path=/tmp/mysql.sock --with-client-ldflags=-all-static --with-mysqld-ldflags=-all-static --enable-assembler --with-extra-charsets=gbk,gb2312,utf8 --with-pthread --enable-thread-safe-client
make && make install
chmod +w /usr/local/webserver/mysql
chown -R mysql:mysql /usr/local/webserver/mysql
cp support-files/my-medium.cnf /usr/local/webserver/mysql/my.cnf

　　附：以下为附加步骤，如果你想在这台服务器上运行MySQL数据库，则执行以下两步。如果你只是希望让PHP支持MySQL扩展库，能够连接其他服务器上的MySQL数据库，那么，以下两步无需执行。
　　①、以mysql用户帐号的身份建立数据表：

/usr/local/webserver/mysql/bin/mysql_install_db --defaults-file=/usr/local/webserver/mysql/my.cnf --basedir=/usr/local/webserver/mysql --datadir=/usr/local/webserver/mysql/data --user=mysql --pid-file=/usr/local/webserver/mysql/mysql.pid --skip-locking --port=3306 --socket=/tmp/mysql.sock

　　②、启动MySQL（最后的&表示在后台运行）

/bin/sh /usr/local/webserver/mysql/bin/mysqld_safe --defaults-file=/usr/local/webserver/mysql/my.cnf &

　　3、编译安装PHP（FastCGI模式）

cd ..
tar zxvf php-5.2.4.tar.gz
cd php-5.2.4/
./configure --prefix=/usr/local/webserver/php --with-mysql=/usr/local/webserver/mysql --with-config-file-path=/usr/local/webserver/php/etc --with-gd=/usr/local/webserver/lib/gd --enable-gd-native-ttf --enable-gd-jis-conv --with-iconv-dir=/usr/local/webserver/lib/libiconv --with-freetype-dir=/usr/local/webserver/lib/freetype --with-jpeg-dir=/usr/local --with-png-dir=/usr/local --with-zlib --with-libxml-dir=/usr/local/webserver/lib/libxml --enable-xml --disable-debug --disable-rpath --enable-discard-path --enable-safe-mode --enable-bcmath --enable-shmop --enable-sysvsem --enable-inline-optimization --with-curl --with-curlwrappers --enable-mbregex --enable-fastcgi --enable-force-cgi-redirect
make && make install
cp php.ini-dist /usr/local/webserver/php/etc/php.ini
cd ../

　　附：编译PHP之后，为PHP添加扩展的方法。（本步骤可选）

cd php-5.2.4/pcntl
/usr/local/webserver/php/bin/phpize
./configure --with-php-config=/usr/local/webserver/php/bin/php-config
make && make install
cd ../../../

vi /usr/local/webserver/php/etc/php.ini

修改extension_dir = "/usr/local/webserver/php/lib/php/extensions/no-debug-non-zts-20060613/"

　　4、创建www用户和组，以及其使用的目录：

/usr/sbin/groupadd www -g 48
/usr/sbin/useradd -u 48 -g www www
mkdir -p /data0/vshare/htdocs
chmod +w /data0/vshare/htdocs
chown -R www:www /data0/vshare/htdocs

　　5、安装lighttpd中附带的spawn-fcgi，用来启动php-cgi
　　注：压缩包中的spawn-fcgi程序为已经编译成二进制的版本。

cp spawn-fcgi /usr/local/webserver/php/bin
chmod +x /usr/local/webserver/php/bin/spawn-fcgi

　　6、启动php-cgi进程，监听127.0.0.1的10080端口，进程数为250（如果服务器内存小于3GB，可以只开启25个进程），用户为www：

/usr/local/webserver/php/bin/spawn-fcgi -a 127.0.0.1 -p 10080 -C 250 -u www -f /usr/local/webserver/php/bin/php-cgi

　　三、安装Nginx 0.5.31
　　1、安装Nginx所需的pcre库：

tar zxvf pcre-7.2.tar.gz
cd pcre-7.2/
./configure
make && make install
cd ../

　　2、安装Nginx

tar zxvf nginx-0.5.31.tar.gz
cd nginx-0.5.31/
./configure --user=www --group=www --prefix=/usr/local/webserver/nginx
make && make install
cd ../

　　3、创建Nginx日志目录

mkdir -p /data1/logs
chmod +w /data1/logs
chown -R www:www /data1/logs

　　4、创建Nginx配置文件
　　①、在/usr/local/webserver/nginx/conf/目录中创建nginx.conf文件：

rm -f /usr/local/webserver/nginx/conf/nginx.conf
vi /usr/local/webserver/nginx/conf/nginx.conf

　　输入以下内容：

引用

user  www www;

worker_processes 10;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

#Specifies the value for maximum file descriptors that can be opened by this process.
worker_rlimit_nofile 51200;

events
{
        use epoll;

        #maxclient = worker_processes * worker_connections / cpu_number
        worker_connections 51200;
}

http
{
        include       conf/mime.types;
        default_type  application/octet-stream;

        log_format  main  '$remote_addr - $remote_user [$time_local] $request '
                          '"$status" $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';

        access_log  /data1/logs/access.log  main;

        #sendfile on;
        #tcp_nopush     on;

        keepalive_timeout 60;

        #gzip  on;

        server
        {
                listen       80;
                server_name  localhost;
                index index.html index.htm index.php;
                root  /data0/vshare/htdocs;

                if (-f $request_filename/index.html)
                {
                        rewrite (.*) $1/index.html break;
                }
                if (-f $request_filename/index.htm)
                {
                        rewrite (.*) $1/index.htm break;
                }
                if (-f $request_filename/index.php)
                {
                        rewrite (.*) $1/index.php break;
                }

                location ~ .*\.php?$
                {
                        include conf/fcgi.conf;
                        fastcgi_pass  127.0.0.1:10080;
                        fastcgi_index index.php;
                }
        }
}

　　②、在/usr/local/webserver/nginx/conf/目录中创建fcgi.conf文件：

vi /usr/local/webserver/nginx/conf/fcgi.conf

　　输入以下内容：

引用

fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
fastcgi_param  SERVER_SOFTWARE    nginx;

fastcgi_param  QUERY_STRING       $query_string;
fastcgi_param  REQUEST_METHOD     $request_method;
fastcgi_param  CONTENT_TYPE       $content_type;
fastcgi_param  CONTENT_LENGTH     $content_length;

fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
fastcgi_param  REQUEST_URI        $request_uri;
fastcgi_param  DOCUMENT_URI       $document_uri;
fastcgi_param  DOCUMENT_ROOT      $document_root;
fastcgi_param  SERVER_PROTOCOL    $server_protocol;

fastcgi_param  REMOTE_ADDR        $remote_addr;
fastcgi_param  REMOTE_PORT        $remote_port;
fastcgi_param  SERVER_ADDR        $server_addr;
fastcgi_param  SERVER_PORT        $server_port;
fastcgi_param  SERVER_NAME        $server_name;

# PHP only, required if PHP was built with --enable-force-cgi-redirect
#fastcgi_param  REDIRECT_STATUS    200;

　　5、启动Nginx

ulimit -SHn 51200
/usr/local/webserver/nginx/sbin/nginx -c /usr/local/webserver/nginx/conf/nginx.conf

　　四、配置开机自动启动Nginx + PHP

vi /etc/rc.local

　　在末尾增加以下内容：

引用

/usr/local/webserver/php/bin/spawn-fcgi -a 127.0.0.1 -p 10080 -C 250 -u www -f /usr/local/webserver/php/bin/php-cgi
ulimit -SHn 51200
/usr/local/webserver/nginx/sbin/nginx -c /usr/local/webserver/nginx/conf/nginx.conf

　　五、优化Linux内核参数

vi /etc/sysctl.conf

　　在末尾增加以下内容：

引用

net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000

　　使配置立即生效：

/sbin/sysctl -p

　　（全文完）

技术大类 » Web服务器 | 评论(133) | 引用(1) | 阅读(200396)

菜鸟想飞

2007-9-25 10:27

张老师。中秋节快了啊！
今天公司发福利了吧！ grin

我看看你最近好像好忙啊！
上次老师说把你的（朝花）的那个程序发给小第学习的！记得有空发给我
邮箱：wylf221@yahoo.com.cn

小船

2007-9-30 10:21

张老师：您好
如果PHP是用不是编译方式安装，而是使用rpm安装的话，需要如何配置php或者nginx才能
使nginx支持php
另外，nginx配置文件中如何增加alias，最多可以支持多少个alias。
谢谢

张宴回复于 2007-10-5 18:40

location /i/ {
alias /spool/w3/images/;
}

详见：
http://wiki.codemongers.com/NginxChsHttpCoreModule#alias

轻

2007-9-30 11:07

张老师您好

按照您的配置，如果我指定
root /usr/local/www;
index index.php;
的话那么在访问/时访问到的是index.php页面，这是对的。
现在有这样的/usr/local/www/admin目录，但是如果直接用/admin/index.php访问的话会显示 403 请问这个怎么解决？

张宴回复于 2007-10-5 18:41

我已经发现了这个问题，在配置文件nginx.conf中增加了：
if (-f $request_filename/index.html)
{
rewrite (.*) $1/index.html break;
}
if (-f $request_filename/index.htm)
{
rewrite (.*) $1/index.htm break;
}
if (-f $request_filename/index.php)
{
rewrite (.*) $1/index.php break;
}

eric

2007-9-30 13:51

请教一下，日志文件如何过滤jpg、css文件设置，谢谢。

hoosir

2007-10-6 11:17

对于运算量很大的php页面，在大负载下，表现稳定么？

小船

2007-10-12 16:45

张老师：
我设置了alias
location /my/
{
alias /var/www/my/;
}
/var/www/my/目录下的html文件都是可以运行的，但是php文件却无法找到，我的其他配置文件就是按照您的文章写的。

这是什么原因呢？急切等待您的回复，谢谢

CodeAll

2007-10-18 12:53

诧异一下
250个fcgi进程怎么是并发3w？
是一秒处理3w？
netstat列出来的是内核的队列，不是并发啊

张宴回复于 2007-10-18 20:09

Nginx能够处理的并发数并不等于FastCGI的进程数，启动250个FastCGI进程，是为了分散每个FastCGI进程的负载。

netstat可以查看到你服务器的TCP连接数。

你可以在同一局域网用Webbench等压力测试工具压3万个并发连接，同时打开浏览器访问Nginx服务器上的某一PHP程序，会发现没有任何延迟。而换成Apache，页面早就无法打开了。

煤块

2007-11-2 12:17

我按说明安装玩 php 在xxxx/php/bin/下面没有php-cgi 只有php这样的执行文件。
请教哪安装出的问题

蓝色疾风

2007-11-3 15:30

张老师，感觉你能介绍如此好的一款软件，谢谢！
有个疑问，基于你的这个架构的服务器对动态php程序的执行效率上和apache相比有多大差别呢？你所说的10倍于apache的速度是不是指的是对静态文件的处理效率上呀。

五彩阁

2007-11-4 04:32

请问哪里有下载？

左手琴

2007-12-27 13:32

请教一下，我在安装库文件的时候，到了这步：
tar zxvf jpegsrc.v6b.tar.gz
cd jpeg-6b/
./configure --enable-static --enable-shared
make && make install
cd ../
在make && make install 时报错：./libtool --mode=compile gcc -O2 -I. -c ./jcapimin.c
make: ./libtool: Command not found
make: *** [jcapimin.lo] Error 127

这是什么原因呢，麻烦您帮我看一下，不胜感激了！

codeall

2008-1-8 12:24

fcgi是同步请求，350进程就是350并发，别的都在等。

2008-1-30 05:47