张宴的博客

基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 00:45:05 +0000

　　发布版本：
　　httpcws 1.0.0 （最新版本：2009-08-10发布）

　　程序网址：http://code.google.com/p/httpcws

　　安装使用手册：http://blog.zyan.cc/httpcws_v100/

　　下载地址（32位版）：http://httpcws.googlecode.com/files/httpcws-1.0.0-i386-bin.tar.gz

　　下载地址（64位版）：http://httpcws.googlecode.com/files/httpcws-1.0.0-x86_64-bin.tar.gz

　　中文分词在线演示：http://blog.zyan.cc/demo/httpcws/

　　PHP演示程序下载：http://blog.zyan.cc/demo/httpcws/httpcws-php-demo.zip

　　httpcws 中文简介
　　1、什么是 httpcws ？
　　HTTPCWS 是一款基于HTTP协议的开源中文分词系统，目前仅支持Linux系统。HTTPCWS 使用“ICTCLAS 3.0 2009共享版中文分词算法”的API进行分词处理，得出分词结果。HTTPCWS 将取代本人之前开发的 PHPCWS 中文分词扩展。

　　ICTCLAS（Institute of Computing Technology, Chinese Lexical Analysis System）是中国科学院计算技术研究所在多年研究工作积累的基础上，基于多层隐马模型研制出的汉语词法分析系统，主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。ICTCLAS经过五年精心打造，内核升级6次，目前已经升级到了ICTCLAS3.0，分词精度98.45%，各种词典数据压缩后不到3M。ICTCLAS在国内973专家组组织的评测中活动获得了第一名，在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名，是当前世界上最好的汉语词法分析器。

　　ICTCLAS 3.0 商业版是收费的，而免费提供的 ICTCLAS 3.0 共享版不开源，词库是根据人民日报一个月的语料得出的，很多词语不存在。所以本人补充的一个19万条词语的自定义词库，对ICTCLAS分词结果进行合并处理，输出最终分词结果。

　　由于 ICTCLAS 3.0 2009 共享版只支持GBK编码，因此，如果是UTF-8编码的字符串，可以先用iconv函数转换成GBK编码，再用httpcws进行分词处理，最后转换回UTF-8编码。

　　HTTPCWS 软件自身（包括httpcws.cpp源文件、dict/httpcws_dict.txt自定义词库）采用NewBSD开源协议，可以自由修改。HTTPCWS 使用的 ICTCLAS 共享版 API 及 dict/Data/ 目录内的语料库，版权及著作权归中国科学院计算技术研究所、ictclas.org所有，使用需遵循其相关协议。

　　2、httpcws 中文分词在线演示
　　演示网址：http://blog.zyan.cc/demo/httpcws/

　　3、httpcws 中文分词下载安装
　　32位版：

cd /usr/local/
wget http://httpcws.googlecode.com/files/httpcws-1.0.0-i386-bin.tar.gz
tar zxvf httpcws-1.0.0-i386-bin.tar.gz
rm -f httpcws-1.0.0-i386-bin.tar.gz
cd httpcws-1.0.0-i386-bin/
ulimit -SHn 65535
/usr/local/httpcws-1.0.0-i386-bin/httpcws -d -x /usr/local/httpcws-1.0.0-i386-bin/dict/

　　64位版：

cd /usr/local/
wget http://httpcws.googlecode.com/files/httpcws-1.0.0-x86_64-bin.tar.gz
tar zxvf httpcws-1.0.0-x86_64-bin.tar.gz
rm -f httpcws-1.0.0-x86_64-bin.tar.gz
cd httpcws-1.0.0-x86_64-bin/
ulimit -SHn 65535
/usr/local/httpcws-1.0.0-x86_64-bin/httpcws -d -x /usr/local/httpcws-1.0.0-x86_64-bin/dict/

　　命令行启动参数：

　　

　　4、httpcws 使用方法
　　GET方法（文本长度受URL的长度限制，需要分词的文本为GBK编码，最好采用urlencode对文本进行编码）：

http://192.168.8.42:1985/?w=有人的地方就有江湖
http://192.168.8.42:1985/?w=%D3%D0%C8%CB%B5%C4%B5%D8%B7%BD%BE%CD%D3%D0%BD%AD%BA%FE

　　POST方法（文本长度无限制，适用于大文本分词，需要分词的文本为GBK编码，最好采用urlencode对文本进行编码）：

curl -d "有人的地方就有江湖" http://192.168.8.42:1985
curl -d "%D3%D0%C8%CB%B5%C4%B5%D8%B7%BD%BE%CD%D3%D0%BD%AD%BA%FE" http://192.168.8.42:1985

　　PHP 调用 HTTPCWS 示例：

　　①、对GBK编码的字符串进行中文分词处理（HTTP POST方式）：

@header('Content-Type: text/html; charset=gb2312');
$text = "有人的地方就有江湖";
$text = urlencode($text);
$opts = array(
  'http'=>array(
    'method'=>"POST",
    'header'=>"Content-type: application/x-www-form-urlencoded\r\n".
              "Content-length:".strlen($data)."\r\n" .
              "Cookie: foo=bar\r\n" .
              "\r\n",
    'content' => $text,
  )
);
$context = stream_context_create($opts);
$result = file_get_contents("http://127.0.0.1:1985", false, $context);
echo $result;
?>

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 02:24:37 +0000

哈哈

一直在等PHPCWS的64位版，没想到等来的是另一番风景!

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 03:34:01 +0000

赞! 刚在瑞豪买了个vps, 装上试试去~为作者张宴的开源精神感动 :)

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 05:17:40 +0000

好强大啊

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 05:52:15 +0000

感謝分享，down回去研究一下

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 08:17:37 +0000

占个位，研究一下！

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 08:22:12 +0000

在 Solidot 看到介绍后就赶忙装了一个，大致测试了一下感觉效果不错！感谢作者分享！

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 09:24:51 +0000

前排支持~~HOHO~漫漫看

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 09:25:26 +0000

赞！有个问题请教一下，如何停掉这个?是直接kill掉吗，kill掉后占用的内存会被释放掉吧，谢谢了!

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 14:58:19 +0000

问个问题我的mysql库是gbk的
sphinx 中文一元切分却需要 uft8 支持

sphinx.conf 应该中应该怎么处理编码转换

还是只能将库转换成utf8

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 15:37:09 +0000

请问有和开源搜索引擎结合的演示程序吗？

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Tue, 11 Aug 2009 15:50:08 +0000

我也是用 sphinx ,请问怎样把 httpcws 结合到sphinx (在sphinx建立索引时候调用httpcws进行中文切词)

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Wed, 12 Aug 2009 05:17:41 +0000

要是增加分词的【权重】就更好了。。。

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Wed, 12 Aug 2009 05:57:18 +0000

请问httpcws 他可以把字典里包含的几个词返回吗？

比如
“我是一个好宝宝，明天去上学！”

字典里只有“天下、宝宝、明天、游戏”

通过检查后，就把匹配的，宝宝和明天返回？

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Thu, 13 Aug 2009 02:09:00 +0000

怎么从来都是搞一些没有意义的东西？直接用ICTCLAS就好了！
要么写点核心代码不要核心代码总用别人的
没有特点

[评论] 基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布[原创]

Thu, 13 Aug 2009 03:33:06 +0000

这个跟web services有什么区别？用libevent和基于apache+php或者ngins+php，甚至是erlang的mochiweb的基础上，性能有什么优势么？或者从开发代价和性能收获来看？