Nginx 0.7.x + PHP 5.2.8（FastCGI）搭建胜过Apache十倍的Web服务器（第4版）[原创]
[
2008-8-29 18:31 | by 张宴 ]
2008-8-29 18:31 | by 张宴 ]
本文已有最新版本：
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v4.14 最后修改：2009.04.14 转载请注明原文链接：http://blog.zyan.cc/nginx_php_v4/]
前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第4篇文章。本系列文章作为国内最早详细介绍 Nginx + PHP 安装、配置、使用的资料之一，为推动 Nginx 在国内的发展产生了积极的作用。这是一篇关于Nginx 0.7.x系列版本的文章，安装、配置方式与第3篇文章相差不大，但配置参数有不同。Nginx 0.7.x系列版本虽然为开发版，但在很多大型网站的生产环境中已经使用。
链接：《2007年9月的第1版》、《2007年12月的第2版》、《2008年6月的第3版》
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中包括新浪博客、新浪播客、网易新闻等门户网站频道，六间房、56.com等视频分享网站，Discuz!官方论坛、水木社区等知名论坛，豆瓣、YUPOO相册、海内SNS、迅雷在线等新兴Web 2.0网站。
Nginx 的官方中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。
在3万并发连接下，访问Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：
我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不高：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.1，另在RedHat AS4上也安装成功）
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v4.14 最后修改：2009.04.14 转载请注明原文链接：http://blog.zyan.cc/nginx_php_v4/]
前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第4篇文章。本系列文章作为国内最早详细介绍 Nginx + PHP 安装、配置、使用的资料之一，为推动 Nginx 在国内的发展产生了积极的作用。这是一篇关于Nginx 0.7.x系列版本的文章，安装、配置方式与第3篇文章相差不大，但配置参数有不同。Nginx 0.7.x系列版本虽然为开发版，但在很多大型网站的生产环境中已经使用。
链接：《2007年9月的第1版》、《2007年12月的第2版》、《2008年6月的第3版》
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中包括新浪博客、新浪播客、网易新闻等门户网站频道，六间房、56.com等视频分享网站，Discuz!官方论坛、水木社区等知名论坛，豆瓣、YUPOO相册、海内SNS、迅雷在线等新兴Web 2.0网站。
Nginx 的官方中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。
在3万并发连接下，访问Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：
我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不高：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.1，另在RedHat AS4上也安装成功）
基于Sphinx+MySQL的千万级数据全文检索（搜索引擎）架构设计[原创]
[ 2008-7-27 22:29 | by 张宴 ]
2008-7-27 22:29 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2008.07.27 转载请注明原文链接：http://blog.zyan.cc/post/360/]
前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。
在DELL PowerEdge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测，单表1000万条记录的数据量（这张MySQL表拥有int、datetime、varchar、text等类型的10多个字段，只有主键，无其它索引），用主键（PRIMARY KEY）作为WHERE条件进行SQL查询，速度非常之快，只耗费0.01秒。
出自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。
基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有时间我会专为配合Sphinx搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件，用来代替MyISAM引擎，以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。
一、搜索引擎架构设计：
1、搜索引擎架构图：
2、搜索引擎架构设计思路：
(1)、调用方式最简化：
尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。
(2)、创建索引、查询速度快：
①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。
Sphinx的特征：
•Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）
•高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果）
•高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录）
•支持分布式检索
•支持基于短语和基于统计的复合结果排序机制
•支持任意数量的文件字段（数值属性或全文检索属性）
•支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”）
•支持作为Mysql的存储引擎
②、通过国外《High Performance MySQL》专家组的测试可以看出，根据主键进行查询的类似“SELECT ... FROM ... WHERE id = ...”的SQL语句（其中id为PRIMARY KEY），每秒钟能够处理10000次以上的查询，而普通的SELECT查询每秒只能处理几十次到几百次：
③、Sphinx不负责文本字段的存储。假设将数据库的id、date、title、body字段，用sphinx建立搜索索引。根据关键字、时间、类别、范围等信息查询一下sphinx，sphinx只会将查询结果的ID号等非文本信息告诉我们。要显示title、body等信息，还需要根据此ID号去查询MySQL数据库，或者从Memcachedb等其他的存储中取得。安装SphinxSE作为MySQL的存储引擎，将MySQL与Sphinx结合起来，是一种便捷的方法。
创建一张Sphinx类型表，将MyISAM表的主键ID和Sphinx表的ID作一个JOIN联合查询。这样，对于MyISAM表来所，只相当于一个WHERE id=...的主键查询，WHERE后的条件都交给Sphinx去处理，可以充分发挥两者的优势，实现高速搜索查询。
(3)、按服务类型进行分离：
为了保证数据的一致性，我在配置Sphinx读取索引源的MySQL数据库时，进行了锁表。Sphinx读取索引源的过程会耗费一定时间，由于MyISAM存储引擎的读锁和写锁是互斥的，为了避免写操作被长时间阻塞，导致数据库同步落后跟不上，我将提供“搜索查询服务”的和提供“索引源服务”的MySQL数据库进行了分开。监听3306端口的MySQL提供“搜索查询服务”，监听3406端口的MySQL提供“索引源服务”。
(4)、“主索引＋增量索引”更新方式：
一般网站的特征：信息发布较为频繁；刚发布完的信息被编辑、修改的可能性大；两天以前的老帖变动性较小。
基于这个特征，我设计了Sphinx主索引和增量索引。对于前天17:00之前的记录建立主索引，每天凌晨自动重建一次主索引；对于前天17:00之后到当前最新的记录，间隔3分钟自动重建一次增量索引。
(5)、“Ext3文件系统＋tmpfs内存文件系统”相结合：
为了避免每3分钟重建增量索引导致磁盘IO较重，从而引起系统负载上升，我将主索引文件创建在磁盘，增量索引文件创建在tmpfs内存文件系统“/dev/shm/”内。“/dev/shm/”内的文件全部驻留在内存中，读写速度非常快。但是，重启服务器会导致“/dev/shm/”内的文件丢失，针对这个问题，我会在服务器开机时自动创建“/dev/shm/”内目录结构和Sphinx增量索引。
(6)、中文分词词库：
我根据“自整理的中文分词库”＋“搜狗拼音输入法细胞词库”＋“LibMMSeg高频字库”＋... 综合整理成一份中文分词词库，出于某些考虑暂不提供。你可以使用LibMMSeg自带的中文分词词库。
前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。
在DELL PowerEdge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测，单表1000万条记录的数据量（这张MySQL表拥有int、datetime、varchar、text等类型的10多个字段，只有主键，无其它索引），用主键（PRIMARY KEY）作为WHERE条件进行SQL查询，速度非常之快，只耗费0.01秒。
出自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。
基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有时间我会专为配合Sphinx搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件，用来代替MyISAM引擎，以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。
一、搜索引擎架构设计：
1、搜索引擎架构图：
2、搜索引擎架构设计思路：
(1)、调用方式最简化：
尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。
(2)、创建索引、查询速度快：
①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。
Sphinx的特征：
•Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）
•高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果）
•高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录）
•支持分布式检索
•支持基于短语和基于统计的复合结果排序机制
•支持任意数量的文件字段（数值属性或全文检索属性）
•支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”）
•支持作为Mysql的存储引擎
②、通过国外《High Performance MySQL》专家组的测试可以看出，根据主键进行查询的类似“SELECT ... FROM ... WHERE id = ...”的SQL语句（其中id为PRIMARY KEY），每秒钟能够处理10000次以上的查询，而普通的SELECT查询每秒只能处理几十次到几百次：
③、Sphinx不负责文本字段的存储。假设将数据库的id、date、title、body字段，用sphinx建立搜索索引。根据关键字、时间、类别、范围等信息查询一下sphinx，sphinx只会将查询结果的ID号等非文本信息告诉我们。要显示title、body等信息，还需要根据此ID号去查询MySQL数据库，或者从Memcachedb等其他的存储中取得。安装SphinxSE作为MySQL的存储引擎，将MySQL与Sphinx结合起来，是一种便捷的方法。
创建一张Sphinx类型表，将MyISAM表的主键ID和Sphinx表的ID作一个JOIN联合查询。这样，对于MyISAM表来所，只相当于一个WHERE id=...的主键查询，WHERE后的条件都交给Sphinx去处理，可以充分发挥两者的优势，实现高速搜索查询。
(3)、按服务类型进行分离：
为了保证数据的一致性，我在配置Sphinx读取索引源的MySQL数据库时，进行了锁表。Sphinx读取索引源的过程会耗费一定时间，由于MyISAM存储引擎的读锁和写锁是互斥的，为了避免写操作被长时间阻塞，导致数据库同步落后跟不上，我将提供“搜索查询服务”的和提供“索引源服务”的MySQL数据库进行了分开。监听3306端口的MySQL提供“搜索查询服务”，监听3406端口的MySQL提供“索引源服务”。
(4)、“主索引＋增量索引”更新方式：
一般网站的特征：信息发布较为频繁；刚发布完的信息被编辑、修改的可能性大；两天以前的老帖变动性较小。
基于这个特征，我设计了Sphinx主索引和增量索引。对于前天17:00之前的记录建立主索引，每天凌晨自动重建一次主索引；对于前天17:00之后到当前最新的记录，间隔3分钟自动重建一次增量索引。
(5)、“Ext3文件系统＋tmpfs内存文件系统”相结合：
为了避免每3分钟重建增量索引导致磁盘IO较重，从而引起系统负载上升，我将主索引文件创建在磁盘，增量索引文件创建在tmpfs内存文件系统“/dev/shm/”内。“/dev/shm/”内的文件全部驻留在内存中，读写速度非常快。但是，重启服务器会导致“/dev/shm/”内的文件丢失，针对这个问题，我会在服务器开机时自动创建“/dev/shm/”内目录结构和Sphinx增量索引。
(6)、中文分词词库：
我根据“自整理的中文分词库”＋“搜狗拼音输入法细胞词库”＋“LibMMSeg高频字库”＋... 综合整理成一份中文分词词库，出于某些考虑暂不提供。你可以使用LibMMSeg自带的中文分词词库。
快捷启动、停止、重启、杀死指定端口MySQL进程的脚本[原创]
[ 2008-7-24 08:37 | by 张宴 ]
2008-7-24 08:37 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2008.07.24 转载请注明原文链接：http://blog.zyan.cc/post/359/]
写了一个shell脚本，可以在同一台Linux服务器的不同端口，运行多个MySQL服务的情况下，快捷启动、停止、重启、杀死指定端口的MySQL进程。
输入以下内容（因各服务器的MySQL配置不同，可能需要修改的部分已用红色标注）：
赋予脚本可执行权限：
脚本执行方法：
写了一个shell脚本，可以在同一台Linux服务器的不同端口，运行多个MySQL服务的情况下，快捷启动、停止、重启、杀死指定端口的MySQL进程。
vi /usr/local/bin/mysql.sh
输入以下内容（因各服务器的MySQL配置不同，可能需要修改的部分已用红色标注）：
#!/bin/sh
mysql_port=$2
mysql_username="root"
mysql_password="123456"
function_start_mysql()
{
printf "Starting MySQL...\n"
/bin/sh /usr/local/mysql/bin/mysqld_safe --defaults-file=/mysql/${mysql_port}/my.cnf 2>&1 > /dev/null &
}
function_stop_mysql()
{
printf "Stoping MySQL...\n"
/usr/local/mysql/bin/mysqladmin -u ${mysql_username} -p${mysql_password} -h localhost -P ${mysql_port} shutdown
}
function_restart_mysql()
{
printf "Restarting MySQL...\n"
function_stop_mysql
function_start_mysql
}
function_kill_mysql()
{
kill -9 $(ps -ef | grep 'bin/mysqld_safe' | grep ${mysql_port} | awk '{printf $2}')
kill -9 $(ps -ef | grep 'libexec/mysqld' | grep ${mysql_port} | awk '{printf $2}')
}
if [ "$1" = "start" ]; then
function_start_mysql
elif [ "$1" = "stop" ]; then
function_stop_mysql
elif [ "$1" = "restart" ]; then
function_restart_mysql
elif [ "$1" = "kill" ]; then
function_kill_mysql
else
printf "Usage: mysql.sh {start|stop|restart|kill}\n"
fi
mysql_port=$2
mysql_username="root"
mysql_password="123456"
function_start_mysql()
{
printf "Starting MySQL...\n"
/bin/sh /usr/local/mysql/bin/mysqld_safe --defaults-file=/mysql/${mysql_port}/my.cnf 2>&1 > /dev/null &
}
function_stop_mysql()
{
printf "Stoping MySQL...\n"
/usr/local/mysql/bin/mysqladmin -u ${mysql_username} -p${mysql_password} -h localhost -P ${mysql_port} shutdown
}
function_restart_mysql()
{
printf "Restarting MySQL...\n"
function_stop_mysql
function_start_mysql
}
function_kill_mysql()
{
kill -9 $(ps -ef | grep 'bin/mysqld_safe' | grep ${mysql_port} | awk '{printf $2}')
kill -9 $(ps -ef | grep 'libexec/mysqld' | grep ${mysql_port} | awk '{printf $2}')
}
if [ "$1" = "start" ]; then
function_start_mysql
elif [ "$1" = "stop" ]; then
function_stop_mysql
elif [ "$1" = "restart" ]; then
function_restart_mysql
elif [ "$1" = "kill" ]; then
function_kill_mysql
else
printf "Usage: mysql.sh {start|stop|restart|kill}\n"
fi
赋予脚本可执行权限：
chmod +x /usr/local/bin/mysql.sh
脚本执行方法：
mysql.sh start 3306
mysql.sh stop 3306
mysql.sh restart 3306
mysql.sh kill 3306
mysql.sh stop 3306
mysql.sh restart 3306
mysql.sh kill 3306
MySQL Memcache_engine的安装与使用[原创]
[ 2008-7-20 13:58 | by 张宴 ]
2008-7-20 13:58 | by 张宴 ]
[文章作者：张宴 本文版本：v1.1 最后修改：2008.09.09 转载请注明原文链接：http://blog.zyan.cc/post/357/]
鉴于国内外还没有人撰写如何安装Memcache_engine的文章，于是，我根据自己的编译安装步骤，写下此文。
Memcache_engine是一个MySQL 5.1数据库的存储引擎，它能够让用户通过标准的SQL语句（SELECT/UPDATE/INSERTE/DELETE）访问Memcached（还支持新浪的Memcachedb、dbcached）中存放的数据。
限制：
1、Memcache表必须有主键。
2、只能使用主键去查询，即只能使用SELECT ... FROM ... WHERE id = ... 方式去查询。
3、不支持自增ID。
安装与使用：
1、编译安装memcache_engine的步骤：
注意：红色标记部分为MySQL 5.1.22以上版本的源码路径。
鉴于国内外还没有人撰写如何安装Memcache_engine的文章，于是，我根据自己的编译安装步骤，写下此文。
Memcache_engine是一个MySQL 5.1数据库的存储引擎，它能够让用户通过标准的SQL语句（SELECT/UPDATE/INSERTE/DELETE）访问Memcached（还支持新浪的Memcachedb、dbcached）中存放的数据。
限制：
1、Memcache表必须有主键。
2、只能使用主键去查询，即只能使用SELECT ... FROM ... WHERE id = ... 方式去查询。
3、不支持自增ID。
安装与使用：
1、编译安装memcache_engine的步骤：
cd /tmp
wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.26-rc.tar.gz/from/http://mirror.x10.com/mirror/mysql/
tar zxvf mysql-5.1.26-rc.tar.gz
#安装、配置MySQL的步骤省略，注意不要以静态方式编译安装。
wget http://download.tangent.org/libmemcached-0.23.tar.gz
tar zxvf libmemcached-0.23.tar.gz
cd libmemcached-0.23/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://xmlsoft.org/sources/libxml2-2.6.32.tar.gz
tar zxvf libxml2-2.6.32.tar.gz
cd libxml2-2.6.32/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/libxmlrow-0.2.tar.gz
tar zxvf libxmlrow-0.2.tar.gz
cd libxmlrow-0.2/
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/memcache_engine-0.7.tar.gz
tar zxvf memcache_engine-0.7.tar.gz
cd memcache_engine-0.7/
sed -i "s#uint16_t#uint32_t#g" ./src/ha_memcache.cc
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine --with-mysql=/tmp/mysql-5.1.26-rc
make
make install
cd ../
wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.26-rc.tar.gz/from/http://mirror.x10.com/mirror/mysql/
tar zxvf mysql-5.1.26-rc.tar.gz
#安装、配置MySQL的步骤省略，注意不要以静态方式编译安装。
wget http://download.tangent.org/libmemcached-0.23.tar.gz
tar zxvf libmemcached-0.23.tar.gz
cd libmemcached-0.23/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://xmlsoft.org/sources/libxml2-2.6.32.tar.gz
tar zxvf libxml2-2.6.32.tar.gz
cd libxml2-2.6.32/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/libxmlrow-0.2.tar.gz
tar zxvf libxmlrow-0.2.tar.gz
cd libxmlrow-0.2/
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/memcache_engine-0.7.tar.gz
tar zxvf memcache_engine-0.7.tar.gz
cd memcache_engine-0.7/
sed -i "s#uint16_t#uint32_t#g" ./src/ha_memcache.cc
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine --with-mysql=/tmp/mysql-5.1.26-rc
make
make install
cd ../
注意：红色标记部分为MySQL 5.1.22以上版本的源码路径。
Nginx 0.6.31 + PHP 5.2.6（FastCGI）搭建胜过Apache十倍的Web服务器（第3版）[原创]
[ 2008-6-9 23:08 | by 张宴 ]
2008-6-9 23:08 | by 张宴 ]
本文已有最新版本：
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v3.2 最后修改：2008.07.16 转载请注明原文链接：http://blog.zyan.cc/read.php/351.htm]
前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第3篇文章，也是Nginx 0.6系列版本成为稳定版后的第一篇文章，安装、配置方式与以往略有不同，并增加了一些在生产环境运行中不断修改、调整，总结出的配置上的优化。
链接：《2007年9月的第1版》、《2007年12月的第2版》
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 的中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。
在3万并发连接下，访问Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：
我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不算高：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.1，另在RedHat AS4上也安装成功）
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v3.2 最后修改：2008.07.16 转载请注明原文链接：http://blog.zyan.cc/read.php/351.htm]
前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第3篇文章，也是Nginx 0.6系列版本成为稳定版后的第一篇文章，安装、配置方式与以往略有不同，并增加了一些在生产环境运行中不断修改、调整，总结出的配置上的优化。
链接：《2007年9月的第1版》、《2007年12月的第2版》
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 的中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。
在3万并发连接下，访问Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：
我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不算高：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.1，另在RedHat AS4上也安装成功）
使用Google的开源TCMalloc库，提高MySQL在高并发情况下的性能[原创]
[ 2008-5-31 09:53 | by 张宴 ]
2008-5-31 09:53 | by 张宴 ]
[文章作者：张宴 本文版本：v1.1 最后修改：2008.06.02 转载请注明出自：http://blog.zyan.cc]
TCMalloc（Thread-Caching Malloc）是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高MySQL服务器在高并发情况下的性能，降低系统负载。
TCMalloc的实现原理和测试报告请见一篇文章：《TCMalloc：线程缓存的Malloc》
为MySQL添加TCMalloc库的安装步骤（Linux环境）：
1、64位操作系统请先安装libunwind库，32位操作系统不要安装。libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能，其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。
2、安装google-perftools：
3、修改MySQL启动脚本（根据你的MySQL安装位置而定）：
在# executing mysqld_safe的下一行，加上：
保存后退出，然后重启MySQL服务器。
4、使用lsof命令查看tcmalloc是否起效：
如果发现以下信息，说明tcmalloc已经起效：
mysqld 10847 mysql mem REG 8,5 1203756 20484960 /usr/local/lib/libtcmalloc.so.0.0.0
注：2008年6月2日，修正了libunwind在x86_64位操作系统下的编译错误，TCMalloc无法加载等问题。
涉及修改内容：
1、libunwind的编译参数改为：
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install
2、增加：
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
/sbin/ldconfig
3、修改MySQL加载TCMalloc的语句：
export LD_PRELOAD=/usr/local/lib/libtcmalloc.so
感谢网友router。
TCMalloc（Thread-Caching Malloc）是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高MySQL服务器在高并发情况下的性能，降低系统负载。
TCMalloc的实现原理和测试报告请见一篇文章：《TCMalloc：线程缓存的Malloc》
为MySQL添加TCMalloc库的安装步骤（Linux环境）：
1、64位操作系统请先安装libunwind库，32位操作系统不要安装。libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能，其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。
wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz
tar zxvf libunwind-0.99-alpha.tar.gz
cd libunwind-0.99-alpha/
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install
tar zxvf libunwind-0.99-alpha.tar.gz
cd libunwind-0.99-alpha/
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install
2、安装google-perftools：
wget http://google-perftools.googlecode.com/files/google-perftools-0.97.tar.gz
tar zxvf google-perftools-0.97.tar.gz
cd google-perftools-0.97/
./configure
make && make install
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
/sbin/ldconfig
tar zxvf google-perftools-0.97.tar.gz
cd google-perftools-0.97/
./configure
make && make install
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
/sbin/ldconfig
3、修改MySQL启动脚本（根据你的MySQL安装位置而定）：
vi /usr/local/mysql/bin/mysqld_safe
在# executing mysqld_safe的下一行，加上：
引用
export LD_PRELOAD=/usr/local/lib/libtcmalloc.so
保存后退出，然后重启MySQL服务器。
4、使用lsof命令查看tcmalloc是否起效：
/usr/sbin/lsof -n | grep tcmalloc
如果发现以下信息，说明tcmalloc已经起效：
mysqld 10847 mysql mem REG 8,5 1203756 20484960 /usr/local/lib/libtcmalloc.so.0.0.0
注：2008年6月2日，修正了libunwind在x86_64位操作系统下的编译错误，TCMalloc无法加载等问题。
涉及修改内容：
1、libunwind的编译参数改为：
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install
2、增加：
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
/sbin/ldconfig
3、修改MySQL加载TCMalloc的语句：
export LD_PRELOAD=/usr/local/lib/libtcmalloc.so
感谢网友router。
利用NetScaler和自行编写的健康检查脚本，完美解决多台MySQL Slave数据库的负载均衡[原创]
[ 2008-5-29 23:21 | by 张宴 ]
2008-5-29 23:21 | by 张宴 ]
[文章作者：张宴 本文版本：v1.1 最后修改：2008.07.17 转载请注明出自：http://blog.zyan.cc]
Citrix NetScaler是一款不错的4-7层硬件负载均衡交换机，市场占有率仅次于F5 BIG-IP，位居第二。NetScaler 8.0是美国思杰系统有限公司（Citrix Systems, Inc）正式推出的最新版本NetScaler产品系列。
从我的实际测试来看，NetScaler 8.0在七层负载均衡方面，性能和功能都要比F5 BIG-IP强。
NetScaler 8.0的负载均衡监控中，可以对MySQL数据库进行健康检查，而F5 BIG-IP目前只支持对Oracle和Microsoft SQL Server数据库的健康检查。
但是，NetScaler 8.0自带的MySQL健康检查脚本（nsmysql.pl）并不完善，它只能检查一条SQL语句执行是否出错，并不能检查MySQL主从结构中的MySQL Slave数据库同步是否正常、表有无损坏、同步延迟是否过大、是否出现错误、非sleeping状态的连程数是否过高等情况。于是，我根据自己的需要，为NetScaler 8.0写了一个MySQL Slave数据库负载均衡健康检查脚本（nsmysql-slave.pl），实现了上述需求。
有了“nsmysql-slave.pl”做健康检查，利用NetScaler的VIP（虚拟IP），就可以完美实现多台MySQL Slave数据库的负载均衡了。当一台MySQL Slave数据库出现不同步、表损坏、同步延迟过大（本脚本中默认设置的落后MySQL主库600秒视为延迟，可根据具体应用修改）、活动连程数太高（本脚本中默认设置的是大于200视为连程数太高，可根据具体应用修改）等情况，“nsmysql-slave.pl”就会自动将其检查出来，并告知NetScaler，NetScaler会将该数据库标识为宕机，从而不将用户的查询请求传送到这台发生故障的数据库上。故障一旦修复，“nsmysql-slave.pl”会自动告知NetScaler，该数据库已经可以使用。
“nsmysql-slave.pl”源代码如下：
Citrix NetScaler是一款不错的4-7层硬件负载均衡交换机，市场占有率仅次于F5 BIG-IP，位居第二。NetScaler 8.0是美国思杰系统有限公司（Citrix Systems, Inc）正式推出的最新版本NetScaler产品系列。
从我的实际测试来看，NetScaler 8.0在七层负载均衡方面，性能和功能都要比F5 BIG-IP强。
NetScaler 8.0的负载均衡监控中，可以对MySQL数据库进行健康检查，而F5 BIG-IP目前只支持对Oracle和Microsoft SQL Server数据库的健康检查。
但是，NetScaler 8.0自带的MySQL健康检查脚本（nsmysql.pl）并不完善，它只能检查一条SQL语句执行是否出错，并不能检查MySQL主从结构中的MySQL Slave数据库同步是否正常、表有无损坏、同步延迟是否过大、是否出现错误、非sleeping状态的连程数是否过高等情况。于是，我根据自己的需要，为NetScaler 8.0写了一个MySQL Slave数据库负载均衡健康检查脚本（nsmysql-slave.pl），实现了上述需求。
有了“nsmysql-slave.pl”做健康检查，利用NetScaler的VIP（虚拟IP），就可以完美实现多台MySQL Slave数据库的负载均衡了。当一台MySQL Slave数据库出现不同步、表损坏、同步延迟过大（本脚本中默认设置的落后MySQL主库600秒视为延迟，可根据具体应用修改）、活动连程数太高（本脚本中默认设置的是大于200视为连程数太高，可根据具体应用修改）等情况，“nsmysql-slave.pl”就会自动将其检查出来，并告知NetScaler，NetScaler会将该数据库标识为宕机，从而不将用户的查询请求传送到这台发生故障的数据库上。故障一旦修复，“nsmysql-slave.pl”会自动告知NetScaler，该数据库已经可以使用。
“nsmysql-slave.pl”源代码如下：
MySQL数据库服务器在Flickr、Fotolog、Wkipedia、Facebook等国际知名网站中的使用数量
[ 2008-5-8 08:59 | by 张宴 ]
2008-5-8 08:59 | by 张宴 ]
2008年4月18日，在Alexa安排的一次“Scaling MySQL -- Up or Out?”的小组辩论中，MySQL、Sun、Flickr、Fotolog、Wkipedia、Facebook、YouTube等国际知名网站的DBA们，对其网站MySQL数据库服务器、Web服务器、缓存服务器的数量，MySQL版本，编程语言类型，操作系统类型等问题进行了回答。
Nginx + PHP5（FastCGI）生产环境跑PHP动态程序可超过“700次请求/秒”[原创]
[ 2008-3-26 17:25 | by 张宴 ]
2008-3-26 17:25 | by 张宴 ]
我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，从Nginx的日志可以统计出，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量：
服务器①：DELL PowerEdge 1950（两颗 Intel(R) Xeon(R) 双核CPU 5120 @ 1.86GHz，4GB内存）
服务器②：DELL PowerEdge 1950（一颗 Intel(R) Xeon(R) 双核CPU 5140 @ 2.33GHz，4GB内存）
Web服务器：CentOS Linux 4.4 + Nginx 0.5.35 + PHP 5.2.6RC2（300 FastCGI Procees, unix-domain socket, with XCache）
PHP程序内容：大量Memcached读写、少量MySQL读操作、大量文件队列写操作，然后计算，生成供<script type="text/javascript" src="http://www.domain.com/abc.php?u=1"></script>方式调用的JS代码或XML数据。
网卡流量：1.5M～3M/秒
请求数统计方式：从Nginx访问日志中，统计每分钟的第15秒共有多少条日志记录。
服务器的系统负载也不算高：
总结：
1、Nginx的处理能力超强，这块不是瓶颈。影响动态程序处理能力的因素主要在于PHP（FastCGI）。PHP（FastCGI）模式适用于执行时间较短的PHP程序，一般复杂的PHP程序执行时间应该在100ms以内，例如我的博客首页执行时间为38ms左右。假设一个PHP程序的执行时间为100ms，那么一个PHP（FastCGI）进程每秒可以处理完毕10个请求，300个FastCGI进程理论上每秒可以处理3000个请求。但是，在生产环境下，还将受到内存、系统负载等多方面的影响，例如300个PHP（FastCGI）进程需要占用2.4GB左右的内存，每秒处理超过1000个请求时，系统负载会飚升到100以上。因此，FastCGI的进程不是越多越好，而是够用就好。
2、使用PHP的XCache、APC等加速模块会提供速度10倍左右，降低系统负载50倍以上。
3、修改了spawn-fcgi，使它能够支持250个以上的FastCGI进程。
4、如果PHP直接对MySQL进行大量读写操作，速度是达不到“700 request/sec”的，PHP与MySQL之间需要一个中间层，这是关键的技术。
5、CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。
6、使用PHP 5.2.6RC2，因为它修正了PHP 5.2.5的“zend_mm_heap corrupted”错误BUG。PHP 5.2.5（FastCGI）在高并发请求情况下，经常会出现该错误。
7、有空我将写一篇针对CentOS Linux环境Nginx + PHP5（FastCGI）安装、配置的最新博文。
服务器①：DELL PowerEdge 1950（两颗 Intel(R) Xeon(R) 双核CPU 5120 @ 1.86GHz，4GB内存）
服务器②：DELL PowerEdge 1950（一颗 Intel(R) Xeon(R) 双核CPU 5140 @ 2.33GHz，4GB内存）
Web服务器：CentOS Linux 4.4 + Nginx 0.5.35 + PHP 5.2.6RC2（300 FastCGI Procees, unix-domain socket, with XCache）
PHP程序内容：大量Memcached读写、少量MySQL读操作、大量文件队列写操作，然后计算，生成供<script type="text/javascript" src="http://www.domain.com/abc.php?u=1"></script>方式调用的JS代码或XML数据。
网卡流量：1.5M～3M/秒
请求数统计方式：从Nginx访问日志中，统计每分钟的第15秒共有多少条日志记录。
引用
grep "25/Mar/2008:15:01:15" /data1/logs/nginx.log | wc -l
服务器的系统负载也不算高：
总结：
1、Nginx的处理能力超强，这块不是瓶颈。影响动态程序处理能力的因素主要在于PHP（FastCGI）。PHP（FastCGI）模式适用于执行时间较短的PHP程序，一般复杂的PHP程序执行时间应该在100ms以内，例如我的博客首页执行时间为38ms左右。假设一个PHP程序的执行时间为100ms，那么一个PHP（FastCGI）进程每秒可以处理完毕10个请求，300个FastCGI进程理论上每秒可以处理3000个请求。但是，在生产环境下，还将受到内存、系统负载等多方面的影响，例如300个PHP（FastCGI）进程需要占用2.4GB左右的内存，每秒处理超过1000个请求时，系统负载会飚升到100以上。因此，FastCGI的进程不是越多越好，而是够用就好。
2、使用PHP的XCache、APC等加速模块会提供速度10倍左右，降低系统负载50倍以上。
3、修改了spawn-fcgi，使它能够支持250个以上的FastCGI进程。
4、如果PHP直接对MySQL进行大量读写操作，速度是达不到“700 request/sec”的，PHP与MySQL之间需要一个中间层，这是关键的技术。
5、CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。
6、使用PHP 5.2.6RC2，因为它修正了PHP 5.2.5的“zend_mm_heap corrupted”错误BUG。PHP 5.2.5（FastCGI）在高并发请求情况下，经常会出现该错误。
7、有空我将写一篇针对CentOS Linux环境Nginx + PHP5（FastCGI）安装、配置的最新博文。
YouTube 系统架构
[ 2007-12-27 18:08 | by 张宴 ]
2007-12-27 18:08 | by 张宴 ]
视频演讲：Cuong Do （YouTube/Google 的一位工程部经理）
演讲地点：西雅图扩展性的技术研讨会
Flash Player文件
以下为 Kyle Cordes 根据上述视频写下的文章：
YouTube Scalability Talk
Cuong Do of YouTube / Google recently gave a Google Tech Talk on scalability.
I found it interesting in light of my own comments on YouTube’s 45 TB a while back.
Here are my notes from his talk, a mix of what he said and my commentary:
In the summer of 2006, they grew from 30 million pages per day to 100 million pages per day, in a 4 month period. (Wow! In most organizations, it takes nearly 4 months to pick out, order, install, and set up a few servers.)
YouTube uses Apache for FastCGI serving. (I wonder if things would have been easier for them had they chosen nginx, which is apparently wonderful for FastCGI and less problematic than Lighttpd)
演讲地点：西雅图扩展性的技术研讨会
Flash Player文件以下为 Kyle Cordes 根据上述视频写下的文章：
YouTube Scalability Talk
Cuong Do of YouTube / Google recently gave a Google Tech Talk on scalability.
I found it interesting in light of my own comments on YouTube’s 45 TB a while back.
Here are my notes from his talk, a mix of what he said and my commentary:
In the summer of 2006, they grew from 30 million pages per day to 100 million pages per day, in a 4 month period. (Wow! In most organizations, it takes nearly 4 months to pick out, order, install, and set up a few servers.)
YouTube uses Apache for FastCGI serving. (I wonder if things would have been easier for them had they chosen nginx, which is apparently wonderful for FastCGI and less problematic than Lighttpd)
Nginx 0.5.31 + PHP 5.2.4（FastCGI）搭建可承受3万以上并发连接数，胜过Apache 10倍的Web服务器[原创]
[ 2007-9-24 18:56 | by 张宴 ]
2007-9-24 18:56 | by 张宴 ]
本文已有最新版本：
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v1.3 最后修改：2007.11.06 转载请注明出处：http://blog.zyan.cc]
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 的中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
以下是 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下的TCP状况：
各种状态TCP连接数如下（各项值所代表的含义见我的另一篇文章《查看Apache并发请求数及其TCP连接状态》）：
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗100M内存（20MB*10=100M），开启的250个php-cgi进程消耗1G内存（4MB*250≈1GB），加上系统自身消耗的内存，总共才消耗2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才100M。在开启25个php-cgi进程的情况下，每分钟的处理能力只比开启250个php-cgi进程时低了不到一半。
以下为 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程和250个php-cgi进程时的系统负载情况：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 4.4）
一、获取相关开源程序：
1、下载程序源码包到当前目录：
本文中提到的所有开源软件为截止到2007年9月21日的最新稳定版。我将它们打了两个压缩包。
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v1.3 最后修改：2007.11.06 转载请注明出处：http://blog.zyan.cc]
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 的中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
以下是 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下的TCP状况：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
各种状态TCP连接数如下（各项值所代表的含义见我的另一篇文章《查看Apache并发请求数及其TCP连接状态》）：
引用
LAST_ACK 1
SYN_RECV 991
CLOSE_WAIT 1
ESTABLISHED 18789
FIN_WAIT1 1478
FIN_WAIT2 181
TIME_WAIT 506
SYN_RECV 991
CLOSE_WAIT 1
ESTABLISHED 18789
FIN_WAIT1 1478
FIN_WAIT2 181
TIME_WAIT 506
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗100M内存（20MB*10=100M），开启的250个php-cgi进程消耗1G内存（4MB*250≈1GB），加上系统自身消耗的内存，总共才消耗2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才100M。在开启25个php-cgi进程的情况下，每分钟的处理能力只比开启250个php-cgi进程时低了不到一半。
以下为 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程和250个php-cgi进程时的系统负载情况：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 4.4）
一、获取相关开源程序：
1、下载程序源码包到当前目录：
本文中提到的所有开源软件为截止到2007年9月21日的最新稳定版。我将它们打了两个压缩包。
我的技术文章与计算机作品汇总页[原创]
[ 2007-8-14 20:04 | by 张宴 ]
2007-8-14 20:04 | by 张宴 ]
我的技术文章与计算机作品汇总页
张宴（本页网址：http://blog.zyan.cc/tech/）
文章推荐级别：最高
较高
普通
★ Apache、Nginx及其他Web服务器
● [文章] Nginx虚拟主机多server_name的顺序问题 [作者：张宴]
● [文章] Nginx+PHP+MySQL双机互备、全自动切换方案 [作者：张宴]
● [文章] Nginx 0.7.x + PHP 5.2.6（FastCGI）+ MySQL 5.1 在128M小内存VPS服务器上的配置优化
[作者：张宴]● [文章] 使用Nginx轻松实现开源负载均衡──9月20日在ChinaUnix技术沙龙上的演讲PPT
[作者：张宴]● [文章] Nginx 0.7.x + PHP 5.2.8（FastCGI）搭建胜过Apache十倍的Web服务器（第4版）
[作者：张宴]● [文章] 解决Nginx + PHP（FastCGI）遇到的502 Bad Gateway错误 [作者：张宴]
● [文章] 使用Nginx作为Web服务器的国内网站 [作者：张宴]
● [文章] Nginx 0.6.31 + PHP 5.2.6（FastCGI）搭建胜过Apache十倍的Web服务器（第3版）
[作者：张宴]● [文章] 为Apache编译添加mod_expires模块出错的解决笔记 [作者：张宴]
● [文章] 解决“HTTP/1.1 405 Method not allowed”问题，让静态文件响应POST请求 [作者：张宴]
● [文章] Nginx + PHP5（FastCGI）生产环境跑PHP动态程序可超过“700次请求/秒” [作者：张宴]
● [文章] 视频：Nginx versus Apache (两者的对比)
● [文章] Nginx 0.5.33 + PHP 5.2.5（FastCGI）搭建胜过Apache 10倍的Web服务器（第2版）
[作者：张宴]● [文章] Nginx 简单的负载均衡配置示例 [作者：张宴]
● [文章] Nginx 0.5.31 + PHP 5.2.4搭建可承受3万以上并发连接数，胜过Apache 10倍的Web服务器
[作者：张宴]● [文章] 为Apache配置mod_deflat压缩输出 [作者：张宴]
● [文章] 修改Linux内核参数，减少TCP连接中的TIME-WAIT sockets [作者：张宴]
● [文章] 查看Apache并发请求数及其TCP连接状态
[作者：张宴]● [文章] AutoAPM--Linux下自动编译Apache+PHP+MySQL脚本 [作者：张宴]
● [文章] Linux下Apache日志分析工具--AWStats安装使用 [作者：张宴]
★ PHP配置与优化
● [文章] 利用Xdebug分析PHP程序，找出性能瓶颈
[作者：张宴]● [文章] 安装及配置eaccelerator-0.9.5加速PHP-5.2.1 [作者：张宴]
● [文章] Linux下为RPM方式安装的PHP添加GD库支持 [作者：张宴]
★ MySQL数据库
● [文章] 快捷启动、停止、重启、杀死指定端口MySQL进程的脚本 [作者：张宴]
● [文章] MySQL中文全文索引插件 mysqlcft 1.0.0 安装使用文档
[作者：张宴]● [文章] 使用Google的开源TCMalloc库，提高MySQL在高并发情况下的性能
[作者：张宴]● [文章] MySQL数据库服务器在Flickr、Fotolog、Wkipedia、Facebook等国际知名网站中的使用数量 [作者：张宴]
● [文章] 命令行方式管理MySQL数据库实例
[作者：张宴]● [文章] MySQL中将字符串aaa批量替换为bbb的SQL语句 [作者：张宴]
● [文章] phpMyAdmin之一：可管理多台远程MySQL服务器的phpMyAdmin 2.10.2
[作者：张宴]● [文章] phpMyAdmin之二：修改phpMyAdmin使其能够管理多台远程MySQL服务器 [作者：张宴]
● [文章] MySQL数据库故障解决──修复损坏的表 [作者：张宴]
★ Squid、Varnish、Memcached及其他缓存服务器
● [文章] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统 [作者：张宴]
● [文章] Memcached的代理服务器软件：magent使用小记 [作者：张宴]
● [文章] 利用shell命令操作Memcached [作者：张宴]
● [文章] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统
[作者：张宴]● [文章] MySQL Memcache_engine的安装与使用 [作者：张宴]
● [源码] dbcached──“分布式 key-value 数据库内存缓存系统”
[作者：张宴]● [文章] 减少Linux下Squid服务器的TIME_WAIT套接字数量 [作者：张宴]
● [文章] 使用Varnish代替Squid做网站缓存加速器的详细解决方案
[作者：张宴]● [文章] 找到一款批量清除Squid缓存的小工具 [作者：张宴]
● [文章] 初步试用Squid的替代产品──Varnish Cache网站加速器 [作者：张宴]
● [书籍] Squid中文权威指南 (在线版) (PDF下载) [作者：彭勇华]
● [文章] 清除指定squid缓存文件的脚本
[作者：张宴]★ 其他
● [文章] 我的开源PHP中文分词扩展：PHPCWS 1.0.0
[作者：张宴]● [文章] 一款不错的Linux命令行下的FTP客户端软件 [作者：张宴]
● [文章] 亿级数据的高并发通用搜索引擎架构设计
[作者：张宴]● [文章] Linux下简单限制网卡的带宽 [作者：张宴]
● [文章] 基于Sphinx+MySQL的千万级数据全文检索（搜索引擎）架构设计
[作者：张宴]● [文章] Linux服务器系统监控框架与MSN、E-mail、手机短信报警的实现
[作者：张宴]● [文章] IE浏览器下同一网页多图片显示的瓶颈与优化
[作者：张宴]● [文章] 又一个新浪UNIX开源软件项目──xbayDNS [项目团队：新浪研发中心──系统研发]
● [文章] 新浪发起的UNIX开源软件项目 [项目团队：新浪互动社区事业部──博客产品]
● [文章] YouTube 系统架构 [作者：Cuong Do & Kyle Cordes]
● [文章] 我所熟悉的网站负载均衡技术 [作者：张宴]
● [文章] Linux索引节点(inode)用满导致的一次故障 [作者：张宴]
● [文章] 一款不错的网站压力测试工具webbench [作者：张宴]
● [文章] IP别名+TCP转发+端口映射实现跨网络访问
[作者：张宴]● [文章] Linux下快速搭建ntp时间同步服务器 [作者：张宴]
● [文章] Linux服务器监控系统 ServMon V1.1
[作者：张宴]● [文章] Linux服务器监控系统 ServMon V1.0 [作者：张宴]
● [书籍] 针对服务器运行环境安装CentOS 4.X Linux
[作者：张宴]● [文章] 使用Linux的rsync命令实现：多服务器镜像同步 [作者：张宴]
● [文章] 用rsync实现网站镜像和备份
● [文章] Fedora Core 4.0 简体中文语言包的安装 [作者：张宴]
★ Linux命令与shell脚本
● [文章] PHPSH：Facebook开发的PHP Shell的安装与使用 [作者：张宴]
● [文章] PHP多进程并发控制的测试用例
[作者：张宴]硬件设备
★ 负载均衡交换机
● [文章] 利用NetScaler和自行编写的健康检查脚本，完美解决多台MySQL Slave数据库的负载均衡
[作者：张宴]● [文章] F5 BIG-IP负载均衡器配置实例与Web管理界面体验
[作者：张宴]编程语言
★ PHP/JavaScript编程
● [文章] AJAXCDR：利用 Flash 完美解决 JavaScript 和 AJAX 跨域 HTTP POST/GET 表单请求
[作者：张宴]● [文章] 支持MSNP15协议与离线消息的PHP MSN Class，可实现MSN机器人 [作者：张宴]
● [文章] 同一域名对应多个IP时，PHP获取远程网页内容的函数 [作者：张宴]
● [文章] 通过浏览器从SVN更新代码到Linux服务器的指定目录 [作者：张宴]
● [文章] 一个发送HTML邮件的PHP函数 [作者：张宴]
● [文章] 采用curl库在PHP程序之间传递数组
[作者：张宴]● [文章] PHP截取中文字符串不出现?号的解决方法 [作者：张宴]
● [文章] PHP XML Library：一个不错的PHP XML操作类
● [文章] PHP中常用的字符串函数
● [文章] 钢笔手写体生成工具（PHP）V1.0
[作者：张宴]● [文章] PHP实现http与https转化 [作者：张宴]
● [文章] 用GD库生成高质量的缩略图片
● [文章] 部分PHP问题总结
★ HTML/JS
● [文章] dp.SyntaxHighlighter介绍：在网页中加亮显示源代码的工具 [作者：张宴]
● [文章] IE浏览器flash控件的激活方式介绍 [作者：张宴]
● [文章] 防止电子邮件地址被搜索到的新方法 [作者：张宴]
● [文章] 网页制作：带有滚动条的表格 [作者：张宴]
Windows 2000/XP/2003/Vista
★ 软件分享
● [下载] PHPChina.com旗下的开源技术杂志《PHPer》第12期
● [网站] UnixSNS──Linux/Unix技术工程师社交网络
● [网站] 一个分类搜集了众多开源软件官方网址的站点
● [下载] 一款不错的开源密码管理软件──KeePass
● [下载] PHP编程的好工具：《PHP Designer 2007 专业版》
● [下载] 可以上传、下载文件的SSH客户端软件--SecureCRT绿色版
★ 其他
● [文章] 再谈Dr.COM宽带认证客户端共享上网破解V3.46(d13)
[作者：张宴]● [文章] 软件测试用例（Test Case）设计 [作者：Vince]
● [文章] IE7浏览器简体中文版的安装、设置和使用方法(并介绍了非正版Windows用户如何安装IE7) [作者：张宴]
● [文章] 如何寻找联想电脑驱动程序 [作者：张宴]
● [文章] Microsoft SQL Server数据库的备份与恢复 [作者：张宴]
● [文章] 解决IE浏览器打不开的办法 [作者：张宴]
个人计算机作品
★ 可下载或开放源代码的作品
● [软件] APMServ 拥有图形界面的快速搭建Apache、PHP、MySQL、ASP、Perl网站服务器平台的绿色软件
[作者：张宴]● [软件] 《APMServ 5.2.6》：一键快速搭建Apache＋PHP＋MySQL＋Nginx＋Memcached＋ASP平台的绿色软件
[作者：张宴]● [插件] MySQL中文全文索引插件 mysqlcft 1.0.0
[作者：张宴]● [源码] dbcached──“分布式 key-value 数据库内存缓存系统”
[作者：张宴]● [源码] Linux服务器监控系统 ServMon V1.1
[作者：张宴]● [源码] Linux服务器监控系统 ServMon V1.0 [作者：张宴]
● [书籍] 针对服务器运行环境安装CentOS 4.X Linux 图文幻灯电子书
[作者：张宴]● [源码] 钢笔手写体生成工具（PHP）V1.0
[作者：张宴]● 更多>>>
★ 只提供部分源代码和信息的作品
● [架构] 基于Sphinx+MySQL的千万级数据全文检索（搜索引擎）架构设计
[作者：张宴]● [作品] Linux服务器系统监控框架与MSN、E-mail、手机短信报警的实现
[作者：张宴]● [架构] 以最少的Web服务器达到最大的性能──“互联星空播客”
[作者：张宴]● [演示] 大学期间开发的中南民族大学学生管理信息系统 [作者：张宴]
● [演示] 大学期间为北京博卡先锋软件开发有限公司定制开发的SAPM软件 [作者：张宴]
● [硬件] 自行打造的袖珍电脑主机 [作者：张宴]
● 更多>>>
本页内容将陆续增加修改。最后修改时间：2009年03月11日
命令行方式管理MySQL数据库实例[原创]
[ 2007-8-6 16:53 | by 张宴 ]
2007-8-6 16:53 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2007.08.06 转载请注明出处：http://blog.zyan.cc]
我一直习惯用phpMyAdmin对MySQL数据库进行管理，曾修改了一个《可管理多台远程MySQL服务器的phpMyAdmin 2.10.2》。但有些机器上因为安全等因素，只设置了允许从本机访问自身的MySQL端口，而且没有安装Apache和PHP，因而不能使用phpMyAdmin。于是，我只好使用命令行方式来对MySQL数据库进行管理。为了方便以后从命令行操作数据库可以更方便（拷贝、粘贴），我写下了这篇文章。
一、从命令行登录MySQL数据库服务器
1、登录使用默认3306端口的MySQL
2、通过TCP连接管理不同端口的多个MySQL（注意：MySQL4.1以上版本才有此项功能）
3、通过socket套接字管理不同端口的多个MySQL
4、通过端口和IP管理不同端口的多个MySQL
二、数据库操作SQL语句
1、显示服务器上当前存在什么数据库
2、创建名称为rewin的数据库
3、删除名称为rewin的数据库
我一直习惯用phpMyAdmin对MySQL数据库进行管理，曾修改了一个《可管理多台远程MySQL服务器的phpMyAdmin 2.10.2》。但有些机器上因为安全等因素，只设置了允许从本机访问自身的MySQL端口，而且没有安装Apache和PHP，因而不能使用phpMyAdmin。于是，我只好使用命令行方式来对MySQL数据库进行管理。为了方便以后从命令行操作数据库可以更方便（拷贝、粘贴），我写下了这篇文章。
一、从命令行登录MySQL数据库服务器
1、登录使用默认3306端口的MySQL
/usr/local/mysql/bin/mysql -u root -p
2、通过TCP连接管理不同端口的多个MySQL（注意：MySQL4.1以上版本才有此项功能）
/usr/local/mysql/bin/mysql -u root -p --protocol=tcp --host=localhost --port=3307
3、通过socket套接字管理不同端口的多个MySQL
/usr/local/mysql/bin/mysql -u root -p --socket=/tmp/mysql3307.sock
4、通过端口和IP管理不同端口的多个MySQL
/usr/local/mysql/bin/mysql -u root -p -P 3306 -h 127.0.0.1
二、数据库操作SQL语句
1、显示服务器上当前存在什么数据库
SHOW DATABASES;
2、创建名称为rewin的数据库
CREATE DATABASE rewin;
3、删除名称为rewin的数据库
DROP DATABASE rewin;
MySQL中将字符串aaa批量替换为bbb的SQL语句[原创]
[ 2007-7-28 22:45 | by 张宴 ]
2007-7-28 22:45 | by 张宴 ]
我博客上的图片原来都存放在www.zyan.cc服务器上，由于该服务器不稳定，于是我将所有图片切换到了blog.zyan.cc服务器上，同时在MySQL数据库中，将字符串www.zyan.cc批量替换为blog.zyan.cc。为了方便以后使用，我将这条“将字符串aaa批量替换为bbb”的SQL语句记录在此：
引用
UPDATE 表名 SET 字段名 = REPLACE (字段名, 'aaa', 'bbb');
可管理多台远程MySQL服务器的phpMyAdmin 2.10.2[原创]
[ 2007-7-3 12:06 | by 张宴 ]
2007-7-3 12:06 | by 张宴 ]
4月，我曾写过一篇文章《修改phpMyAdmin使其能够管理多台远程MySQL服务器》。今天架设sina播客测试环境时，再次用到phpMyAdmin管理远程数据库，于是干脆根据其最新版本V2.10.2做了一个可直接下载使用的、可管理多台远程MySQL服务器、同时支持Windows和Linux的phpMyAdmin 2.10.2。
下载地址：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=1848024
下载地址：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=1848024
