http://zyan.cc/index.php zh-cn http://zyan.cc/phpcws_v100/ 张宴 <net@s135.com> Mon, 16 Feb 2009 15:40:38 +0000 http://zyan.cc/phpcws_v100/ http://blog.zyan.cc/phpcws_v100/]

　　注：最新的分词系统 HTTPCWS 已经发布，用来取代 PHPCWS。

　　请点击以下网址下载 HTTPCWS：

　　http://code.google.com/p/httpcws

　　原来的 PHPCWS 停止更新。

---

　　名称：PHPCWS（PHP中文分词扩展）
　　协议：New BSD License
　　作者：张宴
　　网址：http://code.google.com/p/phpcws/
　　SVN：http://code.google.com/p/phpcws/source/browse/#svn/trunk/phpcws

　　一、PHPCWS 简介

　　1、什么是 PHPCWS ？
　　PHPCWS 是一款开源的PHP中文分词扩展，目前仅支持Linux/Unix系统。

　　PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理，再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理，并增加标点符号过滤功能，得出分词结果。

　　ICTCLAS（Institute of Computing Technology, Chinese Lexical Analysis System）是中国科学院计算技术研究所在多年研究工作积累的基础上，基于多层隐马模型研制出的汉语词法分析系统，主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。ICTCLAS经过五年精心打造，内核升级6次，目前已经升级到了ICTCLAS3.0，分词精度98.45%，各种词典数据压缩后不到3M。ICTCLAS在国内973专家组组织的评测中活动获得了第一名，在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名，是当前世界上最好的汉语词法分析器。

　　ICTCLAS 3.0 商业版是收费的，而免费提供的 ICTCLAS 3.0 共享版不开源，词库是根据人民日报一个月的语料得出的，很多词语不存在。所以本人对ICTCLAS分词后的结果，再采用逆向最大匹配算法，根据自己补充的一个9万条词语的自定义词库（与ICTCLAS词库中的词语不重复），对ICTCLAS分词结果进行合并处理，输出最终分词结果。

　　由于 ICTCLAS 3.0 共享版只支持GBK编码，因此，如果是UTF-8编码的字符串，可以先用PHP的iconv函数转换成GBK编码，再用phpcws_split函数进行分词处理，最后转换回UTF-8编码。

　　2、PHPCWS 中文分词在线演示

　　演示网址：http://blog.zyan.cc/demo/phpcws/

　　3、PHPCWS 分词速度及用途

　　初次使用时，Apache 或 php-cgi(FastCGI) 进程，需要加载一次词库到内存中，需要0.0X秒。58字节的一句话——“2009年2月13日，我编写了一款PHP中文分词扩展：PHPCWS 1.0.0。”，分词速度只需0.0003秒。

　　PHPCWS 属于《亿级数据的高并发通用搜索引擎架构设计》的一部分，用作“搜索查询接口”的关键字分词处理。在此架构中，Sphinx索引引擎对于CJK（中日韩）语言支持一元切分，假设【反恐行动是国产主视角射击网络游戏】这段文字，Sphinx会将其切成【反 恐 行 动 是 国 产 主 视 角 射 击 网 络 游 戏】，然后对每个字建立反向索引。如果用这句话中包含的字组成一个不存在的词语，例如【恐动】，也会被搜索到，所以搜索时，需要加引号，例如搜索【"反恐行动"】，就能完全匹配连在一起的四个字，不连续的【"恐动"】就不会被搜索到。但是，这样还有一个问题，搜索【"反恐行动游戏"】或【"国产网络游戏"】就会搜索不到。所以，我在搜索层写了个PHP中文分词扩展，搜索“反恐行动游戏”、“国产网络游戏”，会被PHPCWS中文分词函数分别切分为“反恐行动 游戏”、“国产 网络游戏”，这时候，用PHP函数给以空格分隔的词语加上引号，去搜索【"反恐行动" "游戏"】或【"国产" "网络游戏"】，就能搜索到这条记录了。由于PHPCWS位于搜索层，中文分词词库发生增、删、改，只需平滑重启一次Web服务器或php-cgi进程即可，无需重建搜索索引。

　　根据上述情况，对于那些采用二元交叉切分的搜索引擎，PHPCWS用在前端搜索层对用户输入的搜索关键字、短语进行分词处理，同样适合。PHPCWS开发的目的正在于此，对于短句、小文本中文分词切分，速度非常之快。

　　4、自定义词库

　　自定义词库名称为userdict.tch，格式为 Tokyo Cabinet DBM 的 Abstract key-value 内存哈希数据库（key为GBK编码的词语名词，value为词频。目前词频均填1，暂时用不上）。自定义词库的修改在安装步骤中会详细介绍。

---

　　二、phpcws 1.0.1 安装步骤

............

Tags - linux , php , phpcws , 中文分词 , sphinx ]]> http://zyan.cc/phpcws_v100/#blogcomment2579 dengjiuhong <user@domain.com> Mon, 16 Feb 2009 16:56:17 +0000 http://zyan.cc/phpcws_v100/#blogcomment2579 http://zyan.cc/phpcws_v100/#blogcomment2581 hai <user@domain.com> Tue, 17 Feb 2009 01:19:37 +0000 http://zyan.cc/phpcws_v100/#blogcomment2581 http://zyan.cc/phpcws_v100/#blogcomment2582 airwin <user@domain.com> Tue, 17 Feb 2009 01:26:31 +0000 http://zyan.cc/phpcws_v100/#blogcomment2582 http://zyan.cc/phpcws_v100/#blogcomment2583 残缺 <rssidea@gmail.com> Tue, 17 Feb 2009 02:05:50 +0000 http://zyan.cc/phpcws_v100/#blogcomment2583 请问下在sphinx中对关键字建立索引的时候是分词后建立还是每个汉字都建立索引？在中文索引方面能不能指点一下？
谢谢！ ]]> http://zyan.cc/phpcws_v100/#blogcomment2584 叶茂盛 <user@domain.com> Tue, 17 Feb 2009 02:09:34 +0000 http://zyan.cc/phpcws_v100/#blogcomment2584 http://zyan.cc/phpcws_v100/#blogcomment2586 deng <user@domain.com> Tue, 17 Feb 2009 03:07:19 +0000 http://zyan.cc/phpcws_v100/#blogcomment2586 不知如何与sphinx结合起来呢？
望得到指点。 ]]> http://zyan.cc/phpcws_v100/#blogcomment2589 blueflycn <user@domain.com> Tue, 17 Feb 2009 05:56:57 +0000 http://zyan.cc/phpcws_v100/#blogcomment2589 http://www.bluefly.cn/wordpress/2009/01/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d-xsplit-002-alpha-%e5%8f%91%e5%b8%83/）。最近又加了一些功能，包括建立词典，词频统计，多种分词算法，基于darts的应用等，但是还没有公开。
不过这方面我只是一个amateur,希望能有机会跟你交流一下，谢谢~ ]]> http://zyan.cc/phpcws_v100/#blogcomment2592 dodge <dodgepudding@gmail.com> Tue, 17 Feb 2009 14:01:50 +0000 http://zyan.cc/phpcws_v100/#blogcomment2592 http://zyan.cc/phpcws_v100/#blogcomment2594 草根网 <chinaz1974@gmail.com> Wed, 18 Feb 2009 03:13:17 +0000 http://zyan.cc/phpcws_v100/#blogcomment2594 http://zyan.cc/phpcws_v100/#blogcomment2598 haha <user@domain.com> Wed, 18 Feb 2009 06:38:19 +0000 http://zyan.cc/phpcws_v100/#blogcomment2598 http://zyan.cc/phpcws_v100/#blogcomment2600 piaofen <user@domain.com> Wed, 18 Feb 2009 09:43:42 +0000 http://zyan.cc/phpcws_v100/#blogcomment2600 http://zyan.cc/phpcws_v100/#blogcomment2602 xiaojun <user@domain.com> Wed, 18 Feb 2009 11:42:09 +0000 http://zyan.cc/phpcws_v100/#blogcomment2602 http://www.ftphp.com/scws/

动态

   * 2008-12-21 SCWS 划入 FTPHP 项目，作为子项目重建本网站。
   * 2006 - 2007 陆续开发纯 PHP 实现的 PSCWS 第二版与第三版，2007-06-09 发布 scws-0.0.1 pre 版，功能基本完整，2008-03-08 发布 scws-1.0.0 正式版。

简介 - SCWS 是 Simple Chinese Words Segmentation 的缩写，即简易中文分词系统。

   这是一套基于词频词典的机械中文分词引擎，它能将一整段的汉字基本正确的切分成词。词是汉语的基本语素单位，而书写的时候不像英语会在词之间用空格分开，所以如何准确而又快速的分词一直是中文分词的攻关难点。

   SCWS 在概念上并无创新成分，采用的是自行采集的词频词典，并辅以一定程度上的专有名称、人名、地名、数字年代等规则集，经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些中小型搜索引擎、关键字提取等场合运用。 SCWS 采用纯 C 代码开发，以 Unix-Like OS 为主要平台环境，提供共享函数库，方便植入各种现有软件系统。此外它支持 GBK，UTF-8，BIG5 等汉字编码，切词效率高。

   ［推荐］首个搭载 SCWS 分词系统的中小型站内全文检索解决方案 - FTPHP！
版本列表
版本   类型   平台   性能   其它
SCWS-1.0.x   C 代码   *Unix*/*PHP*   准确: 95%, 召回: 91%, 速度: 1.2MB/sec
PHP扩展分词速度: 250KB/sec   [下载] [文档] [安装说明]
php_scws.dll(1)   PHP扩展库   Windows/PHP 4.4.x   准确: 95%, 召回: 91%, 速度: 40KB/sec   [下载] [文档] [安装说明]
php_scws.dll(2)   PHP扩展库   Windows/PHP 5.2.x   准确: 95%, 召回: 91%, 速度: 40KB/sec   [下载] [文档] [安装说明]
PSCWS23   PHP源代码   不限 (不支持UTF-8)   准确: 93%, 召回: 89%, 速度: 960KB/min   [下载] [文档]
PSCWS4   PHP源代码   不限   准确: 95%, 召回: 91%, 速度: 160KB/min   [下载] [文档] ]]> http://zyan.cc/phpcws_v100/#blogcomment2606 neil <user@domain.com> Thu, 19 Feb 2009 02:29:50 +0000 http://zyan.cc/phpcws_v100/#blogcomment2606 效果不错，可惜不识别"开源"一词 ]]> http://zyan.cc/phpcws_v100/#blogcomment2611 wesley <user@domain.com> Thu, 19 Feb 2009 05:42:22 +0000 http://zyan.cc/phpcws_v100/#blogcomment2611 http://zyan.cc/phpcws_v100/#blogcomment2619 zxb888 <user@domain.com> Sat, 21 Feb 2009 14:01:37 +0000 http://zyan.cc/phpcws_v100/#blogcomment2619 http://www.ftphp.com/scws/ 还不错 ]]>