张宴的博客

　　最近配置了几台Web服务器，将安装笔记贴出来吧。没时间像以前那样，将文章写的那样系统了，请见谅。详细配置，可以看以前的旧文章：

　　http://blog.zyan.cc/nginx_php_v6

　　1、安装Nginx：

　　[文章作者：张宴 本文版本：v1.0 最后修改：2011.04.08 转载请注明原文链接：http://blog.zyan.cc/samba_linux_windows/]

　　一、局域网内的 Linux 服务器上操作步骤：

　　1、安装samba（CentOS Linux）：


　　2、创建www账号


　　3、创建samba配置文件

　　输入以下内容：


　　4、为samba用户www、root设立一个密码：


　　5、启动samba：

---

　　二、局域网内的 Windows 服务器上操作步骤：

　　CentOS 5.4 Linux 下的 PHP（FastCGI） 需要连接相关部门的SQL Server 2000数据库，配置了扩展FreeTDS扩展。

　　1、编译安装FreeTDS

　　输入以下内容：


　　2、编译安装PHP自带MSSQL扩展
　　进入本地已存在的php-5.2.XX源码包目录：


　　3、在php.ini配置文件中增加mssql.so

　　增加一行：


　　4、重启PHP FastCGI


　　5、测试文件（test_mssql.php）：
<?php header("Content-type: text/html; charset=utf-8"); $msdb=mssql_connect("mssql.yourdomain.com:1433","username","password"); if (!$msdb) {         echo "connect sqlserver error";         exit; } mssql_select_db("database_name",$msdb); $result = mssql_query("SELECT top 5 * FROM table", $msdb); while($row = mssql_fetch_array($result)) {         var_dump($row); } mssql_free_result($result); ?>

　　书名：《实战Nginx：取代Apache的高性能Web服务器》
　　作者：张宴
　　出版社：电子工业出版社
　　ISBN号：9787121102479
　　出版日期：2010年03月
　　字数：430千字
　　页码：352
　　开本：16

　　网上书城：
　　卓越亚马逊：http://www.amazon.cn/mn/detailApp/ref=sr_1_1?_encoding=UTF8&s=books&qid=1270279433&asin=B003CHHHB8&sr=8-1
　　当当网：http://product.dangdang.com/product.aspx?product_id=20807089&ref=search-0-A
　　China-Pub：http://www.china-pub.com/196364
　　电子工业出版社书城：http://www.phei.com.cn/bookshop/bookinfo.asp?bookcode=TP102470&booktype=main


　　

　　[文章作者：张宴 本文版本：v6.3 最后修改：2010.07.26 转载请注明原文链接：http://blog.zyan.cc/nginx_php_v6/]

　　前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第6篇文章。本系列文章作为国内最早详细介绍 Nginx + PHP 安装、配置、使用的资料之一，为推动 Nginx 在国内的发展产生了积极的作用。本文可能不断更新小版本，请记住原文链接“http://blog.zyan.cc/nginx_php_v6/”，获取最新内容。第6篇文章主要介绍了Nginx 0.8.x新的平滑重启方式，将PHP升级到了5.2.14，修正了PEAR问题。另将MySQL 5.1.x升级到了5.5.x系列，配置文件变更较大。

　　链接：《2007年9月的第1版》、《2007年12月的第2版》、《2008年6月的第3版》、《2008年8月的第4版》、《2009年5月的第5版》

　　

　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过三年了。Igor 将源代码以类BSD许可证的形式发布。

　　Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中包括新浪博客、新浪播客、网易新闻、腾讯网、搜狐博客等门户网站频道，六间房、56.com等视频分享网站，Discuz!官方论坛、水木社区等知名论坛，盛大在线、金山逍遥网等网络游戏网站，豆瓣、人人网、YUPOO相册、金山爱词霸、迅雷在线等新兴Web 2.0网站。

---

　　Nginx 的官方中文维基：http://wiki.nginx.org/NginxChs

---

　　在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.8.46 + PHP 5.2.14 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

　　根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。

　　而这台 Nginx 0.8.46 + PHP 5.2.14 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。

　　在3万并发连接下，访问Nginx 0.8.46 + PHP 5.2.14 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：

　　

　　我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不高：

　　

　　2009年9月3日下午2：30，金山游戏《剑侠情缘网络版叁》临时维护1小时（http://kefu.xoyo.com/gonggao/jx3/2009-09-03/750438.shtml），大量玩家上官网，论坛、评论、客服等动态应用Nginx服务器集群，每台服务器的Nginx活动连接数达到2.8万，这是笔者遇到的Nginx生产环境最高并发值。

　　

---

　　下面是用100个并发连接分别去压生产环境中同一负载均衡器VIP下、提供相同服务的两台服务器，一台为Nginx，另一台为Apache，Nginx每秒处理的请求数是Apache的两倍多，Nginx服务器的系统负载、CPU使用率远低于Apache：

　　你可以将连接数开到10000～30000，去压Nginx和Apache上的phpinfo.php，这是用浏览器访问Nginx上的phpinfo.php一切正常，而访问Apache服务器的phpinfo.php，则是该页无法显示。4G内存的服务器，即使再优化，Apache也很难在“webbench -c 30000 -t 60 http://xxx.xxx.xxx.xxx/phpinfo.php”的压力情况下正常访问，而调整参数优化后的Nginx可以。

　　webbench 下载地址：http://blog.zyan.cc/post/288/

　　注意：webbench 做压力测试时，该软件自身也会消耗CPU和内存资源，为了测试准确，请将 webbench 安装在别的服务器上。

　　测试结果：##### Nginx + PHP #####


　　测试结果：#####  Apache + PHP #####

---

　　为什么Nginx的性能要比Apache高得多？这得益于Nginx使用了最新的epoll（Linux 2.6内核）和kqueue（freebsd）网络I/O模型，而Apache则使用的是传统的select模型。目前Linux下能够承受高并发访问的Squid、Memcached都采用的是epoll网络I/O模型。

　　处理大量的连接的读写，Apache所采用的select网络I/O模型非常低效。下面用一个比喻来解析Apache采用的select模型和Nginx采用的epoll模型进行之间的区别：

　　假设你在大学读书，住的宿舍楼有很多间房间，你的朋友要来找你。select版宿管大妈就会带着你的朋友挨个房间去找，直到找到你为止。而epoll版宿管大妈会先记下每位同学的房间号，你的朋友来时，只需告诉你的朋友你住在哪个房间即可，不用亲自带着你的朋友满大楼找人。如果来了10000个人，都要找自己住这栋楼的同学时，select版和epoll版宿管大妈，谁的效率更高，不言自明。同理，在高并发服务器中，轮询I/O是最耗时间的操作之一，select和epoll的性能谁的性能更高，同样十分明了。

---

　　安装步骤：
　　（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.3，另在RedHat AS4上也安装成功）

　　[文章作者：张宴 本文版本：v1.1 最后修改：2010.09.03 转载请注明原文链接：http://blog.zyan.cc/tcsql/]

　　曾经有人提出，一般数据库缓存分为四种。第一种：单个对象的缓存（一个对象就是数据库一条记录），对于单个对象的临时缓存或永久缓存，用HashMap就可以了，Key-Value方式的Memcached、Memcachedb、Tokyo Tyrant都可以，或者直接对查询数据库的网页采用Squid做缓存，没什么太难的；第二种：列表缓存，就像论坛里帖子的列表；第三种：记录条数的缓存，比如一个论坛板块里有多少个帖子，这样才方便实现分页。第四种：复杂一点的group，sum，count查询，比如一个论坛里按点击数排名的最HOT的帖子列表。第一种比较好实现，后面三种比较困难，虽然可以通过各种方法来解决，但截至目前，似乎还没有使用即简单、并发处理能力又强、实时性又高的解决办法。

---

　　TCSQL为列表页的实时缓存而生，是金山逍遥网技术支持部平台组以Tokyo Cabinet DBM为底层存储与索引，结合类似Memcached的Key-Value内存对象缓存，借鉴SQL语句的SELECT、INSERT、UPDATE、DELETE思想与功能开发的实时列表缓存数据库，能够较好地解决上述前三种类别，特别是第二种、第三种类别的高并发读写问题。

　　TCSQL采用HTTP GET/POST协议＋JSON数据交换格式在客户端、服务器端之间进行数据交互，支持HTTP协议的任何客户端或语言（例如JavaScript、PHP、JSP、Perl、Python等），都能够连接TCSQL服务器进行操作。这就意味着，一些查询量非常大的应用，甚至可以直接使用运行在用户浏览器端的JavaScript代码访问TCSQL数据库，当然，为了安全起见，你可以在中间用Nginx配以rewrite规则，对TCSQL做个反向代理，限制一下查询权限。

　　利用开源的MySQL UDF自定义函数扩展lib_mysqludf_urlencode、lib_mysqludf_urlencode，以及我们平台组周洋同学编写的lib_mysqludf_http_post扩展，配以MySQL触发器，我们可以在MySQL的某张表发生插入、更新、删除操作时，自动将数据同步到TCSQL数据库，使得TCSQL可以当MySQL从库一样使用。

　　TCSQL实时列表缓存数据库单机能够支撑1万以上的并发连接，QPS（每秒查询率）能够达到5000～15000次。



　　以下是TCSQL在10000并发连接情况下的查询速度（服务器为浪潮NF190服务器，两颗双核Xeon(TM) CPU 2.80GHz、4GB内存、1万转SCSI硬盘。）：

　　1、第一种类型A：主键查询并取出倒序第1条记录（“=”运算）：12155次请求/秒

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=pkey:NUMEQ:随机数值&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=1

　　测试结果：


　　2、第一种类型B：其他索引键查询并取出倒序第1条记录（“=”运算）：11897次请求/秒

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=uid:NUMEQ:随机数值&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=1

　　测试结果：


　　3、第二种类型：根据复合条件查询并取出倒序前10条记录：8778次请求/秒（相当于SELECT * FROM table WHERE dateline >= 随机时间戳 AND idtype = '变换的文本' ORDER BY pkey DESC LIMIT 0,10）

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=dateline:NUMGE:随机时间戳|idtype:STREQ:变换的文本&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=10

　　测试结果：


　　4、第三种类型：统计符合查询条件的记录数量：9160次请求/秒（相当于SELECT count(*) FROM table WHERE dateline >= 随机时间戳 AND idtype = '变换的文本'）

　　查询内容：http://192.168.8.34:3888/?command=select&type=count&where=dateline:NUMGE:随机时间戳|idtype:STREQ:变换的文本

　　测试结果：

　　[文章作者：张宴 本文版本：v1.0 最后修改：2009.07.06 转载请注明原文链接：http://blog.zyan.cc/linux_ext3_undelete/]

　　环境：CentOS 5.3 x86_64下，/dev/sdb1为数据分区/data0，EXT3文件系统。
　　前因：误删了/data0/tcsql/cankao/phpcws-1.5.0/httpcws.cpp文件。由于忘了备份httpcws.cpp文件，重新开发工作量较大，因此只有恢复该文件一条路可走。

　　debugfs命令针对EXT2分区还行，但对EXT3分区就帮不上忙了。偶然发现的一款开源软件，解决了我的大忙。该软件下载网址为：
　　http://code.google.com/p/ext3grep/

　　1、先安装ext3grep软件：


　　2、umount /data0分区：

　　如果提示busy，先kill正在使用这个目录的进程，再umount：


　　3、查询所有Inode，（执行需要几分钟～十多分钟）：

　　

　　4、逐级查找Inode，看是否能找到httpcws.cpp文件（此步骤也可省略）：

　　本文已有最新版本：

　　请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》

---

　　[文章作者：张宴 本文版本：v5.5 最后修改：2009.09.18 转载请注明原文链接：http://blog.zyan.cc/nginx_php_v5/]

　　前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第5篇文章。本系列文章作为国内最早详细介绍 Nginx + PHP 安装、配置、使用的资料之一，为推动 Nginx 在国内的发展产生了积极的作用。这是一篇关于Nginx 0.7.x系列版本的文章，安装、配置方式与第4篇文章相差不大，但增加了MySQL安装配置的信息、PHP 5.2.10 的 php-fpm 补丁。Nginx 0.7.x系列版本虽然为开发版，但在很多大型网站的生产环境中已经使用。

　　链接：《2007年9月的第1版》、《2007年12月的第2版》、《2008年6月的第3版》、《2008年8月的第4版》

　　

　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。

　　Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中包括新浪博客、新浪播客、网易新闻等门户网站频道，六间房、56.com等视频分享网站，Discuz!官方论坛、水木社区等知名论坛，豆瓣、YUPOO相册、海内SNS、迅雷在线等新兴Web 2.0网站。

---

　　Nginx 的官方中文维基：http://wiki.nginx.org/NginxChs

---

　　在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.8.15 + PHP 5.2.10 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

　　根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。

　　而这台 Nginx 0.8.15 + PHP 5.2.10 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。

　　在3万并发连接下，访问Nginx 0.8.15 + PHP 5.2.10 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：

　　

　　我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不高：

　　

　　2009年9月3日下午2：30，金山游戏《剑侠情缘网络版叁》临时维护1小时（http://kefu.xoyo.com/gonggao/jx3/2009-09-03/750438.shtml），大量玩家上官网，论坛、评论、客服等动态应用Nginx服务器集群，每台服务器的Nginx活动连接数达到2.8万，这是笔者遇到的Nginx生产环境最高并发值。

　　

---

　　下面是用100个并发连接分别去压生产环境中同一负载均衡器VIP下、提供相同服务的两台服务器，一台为Nginx，另一台为Apache，Nginx每秒处理的请求数是Apache的两倍多，Nginx服务器的系统负载、CPU使用率远低于Apache：

　　你可以将连接数开到10000～30000，去压Nginx和Apache上的phpinfo.php，这是用浏览器访问Nginx上的phpinfo.php一切正常，而访问Apache服务器的phpinfo.php，则是该页无法显示。4G内存的服务器，即使再优化，Apache也很难在“webbench -c 30000 -t 60 http://xxx.xxx.xxx.xxx/phpinfo.php”的压力情况下正常访问，而调整参数优化后的Nginx可以。

　　webbench 下载地址：http://blog.zyan.cc/post/288/

　　注意：webbench 做压力测试时，该软件自身也会消耗CPU和内存资源，为了测试准确，请将 webbench 安装在别的服务器上。

　　测试结果：##### Nginx + PHP #####


　　测试结果：#####  Apache + PHP #####

---

　　为什么Nginx的性能要比Apache高得多？这得益于Nginx使用了最新的epoll（Linux 2.6内核）和kqueue（freebsd）网络I/O模型，而Apache则使用的是传统的select模型。目前Linux下能够承受高并发访问的Squid、Memcached都采用的是epoll网络I/O模型。

　　处理大量的连接的读写，Apache所采用的select网络I/O模型非常低效。下面用一个比喻来解析Apache采用的select模型和Nginx采用的epoll模型进行之间的区别：

　　假设你在大学读书，住的宿舍楼有很多间房间，你的朋友要来找你。select版宿管大妈就会带着你的朋友挨个房间去找，直到找到你为止。而epoll版宿管大妈会先记下每位同学的房间号，你的朋友来时，只需告诉你的朋友你住在哪个房间即可，不用亲自带着你的朋友满大楼找人。如果来了10000个人，都要找自己住这栋楼的同学时，select版和epoll版宿管大妈，谁的效率更高，不言自明。同理，在高并发服务器中，轮询I/O是最耗时间的操作之一，select和epoll的性能谁的性能更高，同样十分明了。

---

　　安装步骤：
　　（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.3，另在RedHat AS4上也安装成功）

　　网易开通了一个开源软件的镜像站点，网址为：

　　http://mirrors.163.com/

　　提供的镜像有：

　　1、Linux及BSD发行版镜像：FreeBSD、OpenBSD、RedHat、archlinux、centos、debian、fedora、gentoo、trixbox、ubuntu等。

　　2、开源软件镜像：eclipse可扩展开发平台、防火墙、openfiler网络存储管理工具。

　　该镜像目前只有一台杭州电信的服务器，网通用户访问可能会比较慢。

---

　　如果您安装 CentOS 5.2 系统的服务器位于电信机房，您可以修改/etc/yum.repos.d/CentOS-Base.repo文件，将它的yum源更改成网易的镜像，代替国外的镜像，以便获取更快的下载速度。

　　您可以按照以下步骤从 blog.zyan.cc 下载修改后的 CentOS-Base.repo 文件到您的服务器。

---

　　附：修改后的 CentOS-Base.repo 文件内容如下：

　　[文章/程序 作者：张宴 本文版本：v1.3 最后修改：2009.07.06 转载请注明原文链接：http://blog.zyan.cc/phpcws_v100/]

　　注：最新的分词系统 HTTPCWS 已经发布，用来取代 PHPCWS。

　　请点击以下网址下载 HTTPCWS：

　　http://code.google.com/p/httpcws

　　原来的 PHPCWS 停止更新。

---

　　名称：PHPCWS（PHP中文分词扩展）
　　协议：New BSD License
　　作者：张宴
　　网址：http://code.google.com/p/phpcws/
　　SVN：http://code.google.com/p/phpcws/source/browse/#svn/trunk/phpcws

　　一、PHPCWS 简介

　　1、什么是 PHPCWS ？
　　PHPCWS 是一款开源的PHP中文分词扩展，目前仅支持Linux/Unix系统。

　　PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理，再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理，并增加标点符号过滤功能，得出分词结果。

　　ICTCLAS（Institute of Computing Technology, Chinese Lexical Analysis System）是中国科学院计算技术研究所在多年研究工作积累的基础上，基于多层隐马模型研制出的汉语词法分析系统，主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。ICTCLAS经过五年精心打造，内核升级6次，目前已经升级到了ICTCLAS3.0，分词精度98.45%，各种词典数据压缩后不到3M。ICTCLAS在国内973专家组组织的评测中活动获得了第一名，在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名，是当前世界上最好的汉语词法分析器。

　　ICTCLAS 3.0 商业版是收费的，而免费提供的 ICTCLAS 3.0 共享版不开源，词库是根据人民日报一个月的语料得出的，很多词语不存在。所以本人对ICTCLAS分词后的结果，再采用逆向最大匹配算法，根据自己补充的一个9万条词语的自定义词库（与ICTCLAS词库中的词语不重复），对ICTCLAS分词结果进行合并处理，输出最终分词结果。

　　由于 ICTCLAS 3.0 共享版只支持GBK编码，因此，如果是UTF-8编码的字符串，可以先用PHP的iconv函数转换成GBK编码，再用phpcws_split函数进行分词处理，最后转换回UTF-8编码。

　　2、PHPCWS 中文分词在线演示

　　演示网址：http://blog.zyan.cc/demo/phpcws/

　　3、PHPCWS 分词速度及用途

　　初次使用时，Apache 或 php-cgi(FastCGI) 进程，需要加载一次词库到内存中，需要0.0X秒。58字节的一句话——“2009年2月13日，我编写了一款PHP中文分词扩展：PHPCWS 1.0.0。”，分词速度只需0.0003秒。

　　PHPCWS 属于《亿级数据的高并发通用搜索引擎架构设计》的一部分，用作“搜索查询接口”的关键字分词处理。在此架构中，Sphinx索引引擎对于CJK（中日韩）语言支持一元切分，假设【反恐行动是国产主视角射击网络游戏】这段文字，Sphinx会将其切成【反 恐 行 动 是 国 产 主 视 角 射 击 网 络 游 戏】，然后对每个字建立反向索引。如果用这句话中包含的字组成一个不存在的词语，例如【恐动】，也会被搜索到，所以搜索时，需要加引号，例如搜索【"反恐行动"】，就能完全匹配连在一起的四个字，不连续的【"恐动"】就不会被搜索到。但是，这样还有一个问题，搜索【"反恐行动游戏"】或【"国产网络游戏"】就会搜索不到。所以，我在搜索层写了个PHP中文分词扩展，搜索“反恐行动游戏”、“国产网络游戏”，会被PHPCWS中文分词函数分别切分为“反恐行动 游戏”、“国产 网络游戏”，这时候，用PHP函数给以空格分隔的词语加上引号，去搜索【"反恐行动" "游戏"】或【"国产" "网络游戏"】，就能搜索到这条记录了。由于PHPCWS位于搜索层，中文分词词库发生增、删、改，只需平滑重启一次Web服务器或php-cgi进程即可，无需重建搜索索引。

　　根据上述情况，对于那些采用二元交叉切分的搜索引擎，PHPCWS用在前端搜索层对用户输入的搜索关键字、短语进行分词处理，同样适合。PHPCWS开发的目的正在于此，对于短句、小文本中文分词切分，速度非常之快。

　　4、自定义词库

　　自定义词库名称为userdict.tch，格式为 Tokyo Cabinet DBM 的 Abstract key-value 内存哈希数据库（key为GBK编码的词语名词，value为词频。目前词频均填1，暂时用不上）。自定义词库的修改在安装步骤中会详细介绍。

---

　　二、phpcws 1.0.1 安装步骤

　　[文章作者：张宴 本文版本：v1.0 最后修改：2009.01.21 转载请注明原文链接：http://blog.zyan.cc/post/394/]

　　key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。如果辅以Real-Time Search Engine（实时搜索引擎）进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。而MySQL，在几百个并发连接下，就基本上崩溃了。

　　虽然key-value分布式存储具有极高的性能，但是只能做类似于MySQL的SELECT * FROM table WHERE id = 123;简单主键查询。

　　“搜索索引引擎＋key-value分布式存储”能够实现高并发的复杂条件查询、全文检索与数据显示。但是，由于索引更新需要时间，目前还不能实现完全意义上的Real-Time Search（实时搜索），只能称之为Near Real-Time Search（准实时搜索）。“搜索索引引擎＋key-value分布式存储”除了做全文检索外，还可以在允许的索引延迟范围内，取代MySQL进行复杂条件查询。

　　我的文章《亿级数据的高并发通用搜索引擎架构设计》的程序编码已经完成，第一轮测试昨天已经结束，能够在高并发情况下实现1分钟内索引更新，属于“Near Real-Time Search Engine（准实时搜索引擎）＋key-value分布式存储”应用。其中，索引引擎采用Sphinx，存储采用key-value分布式数据库Tokyo Tyrant。

　　以下是常见的key-value分布式存储系统：

　　

　　其中，以下几款值得关注：

　　1、Hypertable：它是搜索引擎公司Zvents根据Google的9位研究人员在2006年发表的一篇论文《Bigtable：结构化数据的分布存储系统》开发的一款开源分布式数据储存系统。Hypertable是按照1000节点比例设计，以 C++撰写，可架在 HDFS 和 KFS 上。尽管还在初期阶段，但已有不错的效能：写入 28M 列的资料，各节点写入速率可达7MB/s，读取速率可达 1M cells/s。Hypertable目前一直没有太多高负载和大存储的应用实例，但是最近，Hypertable项目得到了百度的赞助支持，相信其会有更好的发展。

　　

---

　　2、Tokyo Tyrant：它是日本最大的SNS社交网站mixi.jp开发的 Tokyo Cabinet key-value数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。Tokyo Tyrant 具有故障转移、日志文件体积小、大数据量下表现出色等优势，详见：http://blog.zyan.cc/post/362.htm

　　Tokyo Cabinet 2009年1月18日发布的新版本（Version 1.4.0）已经实现 Table Database，将key-value数据库又扩展了一步，有了MySQL等关系型数据库的表和字段的概念，相信不久的将来，Tokyo Tyrant 也将支持这一功能。值得期待。

　　

　　[文章作者：张宴 本文版本：v1.0 最后修改：2009.01.19 转载请注明原文链接：http://blog.zyan.cc/post/393/]

　　magent是一款开源的Memcached代理服务器软件，其项目网址为：

　　http://code.google.com/p/memagent/

　　一、安装步骤：
　　1、编译安装libevent：


　　2、编译安装Memcached：


　　3、编译安装magent：

---

　　二、使用实例：

　　1、分别在11211、11212、11213端口启动3个Memcached进程，在12000端口开启magent代理程序；
　　2、11211、11212端口为主Memcached，11213端口为备份Memcached；
　　3、连接上12000的magent，set key1和set key2，根据哈希算法，key1被写入11212和11213端口的Memcached，key2被写入11212和11213端口的Memcached；
　　4、当11211、11212端口的Memcached死掉，连接到12000端口的magent取数据，数据会从11213端口的Memcached取出；
　　5、当11211、11212端口的Memcached重启复活，连接到12000端口，magent会从11211或11212端口的Memcached取数据，由于这两台Memcached重启后无数据，因此magent取得的将是空值，尽管11213端口的Memcached还有数据（此问题尚待改进）。

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.12.12 转载请注明原文链接：http://blog.zyan.cc/post/387/]

　　借用了兄弟部门在全国N台服务器的空间放一些视频文件，由于只给我开放FTP帐号，于是找了一款Linux命令行下的FTP客户端软件──ncftp，用来作整个目录批量上传。ncftpput是它的一个附带程序，在shell脚本中调用ncftpput上传文件到FTP服务器，非常方便。

　　详细内容见其官方网站：http://www.ncftp.com/

　　编译安装：


　　示例：将本地/data0/htdocs/videofile/flv/games/目录内的所有文件和目录，上传到FTP服务器的flv/games/目录内（如果不存在flv/games/目录则自动创建）。

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.12.09 转载请注明原文链接：http://blog.zyan.cc/post/385/]

　　曾经在七月，写过一篇文章──《基于Sphinx+MySQL的千万级数据全文检索（搜索引擎）架构设计》，前公司的分类信息搜索基于此架构，效果明显，甚至将很大一部分带Where条件的MySQL SQL查询，都改用了Sphinx+MySQL搜索。但是，这套架构仍存在局限：一是MySQL本身的并发能力有限，在200～300个并发连接下，查询和更新就比较慢了；二是由于MySQL表的主键与Sphinx索引的ID一一对应，从而无法跨多表建立整站查询，而且新增加类别还得修改配置文件，比较麻烦；三是因为和MySQL集成，无法发挥出Sphinx的优势。

　　最近，我设计出了下列这套最新的搜索引擎架构，目前已经写出“搜索查询接口”和“索引更新接口”的beta版。经测试，在一台“奔腾四 3.6GHz 双核CPU、2GB内存”的普通PC机，7000万条索引记录的条件下，“搜索查询接口”平均查询速度为0.0XX秒（查询速度已经达到百度、谷歌、搜狗、中国雅虎等搜索引擎的水平，详见文章末尾的“附2”），并且能够支撑高达5000的并发连接；而“索引更新接口”进行数据分析、入队列、返回信息给用户的全过程，高达1500 Requests/Sec。

　　“队列控制器”这一部分是核心，它要控制队列读取，更新MySQL主表与增量表，更新搜索引擎数据存储层Tokyo Tyrant，准实时（1分钟内）完成更新Sphinx增量索引，定期合并Sphinx索引。我预计在这周写出beta版。



　　图示说明：
　　1、搜索查询接口：

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.11.20 转载请注明原文链接：http://blog.zyan.cc/post/380/]

　　Linux下限制网卡的带宽，可用来模拟服务器带宽耗尽，从而测试服务器在此时的访问效果。

　　1、安装iproute


　　2、限制eth0网卡的带宽为50kbit：


　　3、限制带宽为50kbit后，在百兆局域网中wget下载一个大文件：

　　下载速度为457K/s，限制效果达到。

　　4、解除eth0网卡的带宽限制：


　　5、对比：未作带宽限制情况下，在百兆局域网中wget下载一个大文件：

　　下载速度为6.16MB/s。