轻量级开源简单队列服务 HTTPSQS 1.6 版本发布
[
2011-4-21 18:12 | by 张宴 ]
2011-4-21 18:12 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2011.04.21 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_6/]
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过800行，适合二次开发。
HTTPSQS 1.6 版本更新内容：
一、服务器端：
1、修正了定时将内存缓冲区内容同步到磁盘，有时候出现段错误，导致进程崩溃的BUG。感谢以下网友的反馈：
2、修正了判断队列已满，遗漏的一种情况。感谢以下网友的反馈：
3、改为父子进程模式，生产环境稳定性更高。
4、改进了 ps 命令查看 httpsqs 的用户体验：
5、增加了密码校验功能（通过以下启动参数设置密码，通过URL参数“/?auth=密码”访问）：
6、改为静态编译，编译完成后的 HTTPSQS 二进制文件，运行不再依赖 Libevent、Tokyocabinet 动态链接库。
7、HTTPSQS 旧版本如何升级到 HTTPSQS 1.6 版本：
HTTPSQS 1.6 版本完全兼容以前版本：编译安装 HTTPSQS 1.6，替换旧的 HTTPSQS，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。
二、客户端：
1、客户端代码不再集成在 HTTPSQS 源码包中，可通过链接自行查看。
HTTPSQS 1.6 版本的详细使用说明，请访问： http://blog.zyan.cc/httpsqs/
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过800行，适合二次开发。
HTTPSQS 1.6 版本更新内容：
一、服务器端：
1、修正了定时将内存缓冲区内容同步到磁盘，有时候出现段错误，导致进程崩溃的BUG。感谢以下网友的反馈：
2、修正了判断队列已满，遗漏的一种情况。感谢以下网友的反馈：
3、改为父子进程模式，生产环境稳定性更高。
4、改进了 ps 命令查看 httpsqs 的用户体验：
5、增加了密码校验功能（通过以下启动参数设置密码，通过URL参数“/?auth=密码”访问）：
6、改为静态编译，编译完成后的 HTTPSQS 二进制文件，运行不再依赖 Libevent、Tokyocabinet 动态链接库。
7、HTTPSQS 旧版本如何升级到 HTTPSQS 1.6 版本：
HTTPSQS 1.6 版本完全兼容以前版本：编译安装 HTTPSQS 1.6，替换旧的 HTTPSQS，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。
二、客户端：
1、客户端代码不再集成在 HTTPSQS 源码包中，可通过链接自行查看。
HTTPSQS 1.6 版本的详细使用说明，请访问： http://blog.zyan.cc/httpsqs/
轻量级开源简单队列服务 HTTPSQS 1.2 版本发布[原创]
[ 2010-3-18 23:11 | by 张宴 ]
2010-3-18 23:11 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2010.03.18 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_2/]
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过700行，适合二次开发。
HTTPSQS 1.2 版本增加的功能：
1、服务器端：
● PUT入队列、GET出时，1.2版本在Header头增加了一行Pos，输出当前队列“写入点”或“读取点”。假设从队列取出一条消息，这条消息的队列读取点Pos为7，将这条消息插入数据库失败了，那么，就可以在失败Pos日志文件中记录这个队列点。过段时间后，只要该Pos点的数据未被覆盖，通过“http://127.0.0.1:1218/?charset=utf-8&name=your_queue_name&opt=view&pos=7”则可以再次取出该条消息，做失败原因分析或进一步处理。
● PUT入队列时，如果“队列写入点”追上“队列读取点”，会返回“HTTPSQS_PUT_END”，提示队列已满，而不是像1.1版本那样直接覆盖未读数据。
2、客户端：
● 增加了Perl版本的客户端。感谢网友tonny0830为HTTPSQS开发了Perl客户端。
● PHP客户端Class增加了函数$httpsqs->gets($host, $port, $charset, $name)、$httpsqs->pgets($host, $port, $charset, $name)，详细使用说明请见：http://blog.zyan.cc/httpsqs/
HTTPSQS 1.1 版本如何升级到 HTTPSQS 1.2 版本：
●服务器端版本完全兼容：编译安装 HTTPSQS 1.2，替换 HTTPSQS 1.1，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。
●客户端版本完全兼容：HTTPSQS 1.1 版本的PHP客户端，仍可以直接操作 HTTPSQS 1.2。两个版本的PHP客户端函数使用方式、参数相同，1.2 版本的PHP客户端与 1.1 版本相比，增加了gets()和pgets()函数，用于从一个队列中取出文本信息和当前队列读取点Pos。
HTTPSQS 1.2 的生产环境典型应用案例架构：
HTTPSQS 1.2 版本的详细使用说明，请访问：http://blog.zyan.cc/httpsqs/
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过700行，适合二次开发。
HTTPSQS 1.2 版本增加的功能：
1、服务器端：
● PUT入队列、GET出时，1.2版本在Header头增加了一行Pos，输出当前队列“写入点”或“读取点”。假设从队列取出一条消息，这条消息的队列读取点Pos为7，将这条消息插入数据库失败了，那么，就可以在失败Pos日志文件中记录这个队列点。过段时间后，只要该Pos点的数据未被覆盖，通过“http://127.0.0.1:1218/?charset=utf-8&name=your_queue_name&opt=view&pos=7”则可以再次取出该条消息，做失败原因分析或进一步处理。
● PUT入队列时，如果“队列写入点”追上“队列读取点”，会返回“HTTPSQS_PUT_END”，提示队列已满，而不是像1.1版本那样直接覆盖未读数据。
2、客户端：
● 增加了Perl版本的客户端。感谢网友tonny0830为HTTPSQS开发了Perl客户端。
● PHP客户端Class增加了函数$httpsqs->gets($host, $port, $charset, $name)、$httpsqs->pgets($host, $port, $charset, $name)，详细使用说明请见：http://blog.zyan.cc/httpsqs/
HTTPSQS 1.1 版本如何升级到 HTTPSQS 1.2 版本：
●服务器端版本完全兼容：编译安装 HTTPSQS 1.2，替换 HTTPSQS 1.1，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。
●客户端版本完全兼容：HTTPSQS 1.1 版本的PHP客户端，仍可以直接操作 HTTPSQS 1.2。两个版本的PHP客户端函数使用方式、参数相同，1.2 版本的PHP客户端与 1.1 版本相比，增加了gets()和pgets()函数，用于从一个队列中取出文本信息和当前队列读取点Pos。
HTTPSQS 1.2 的生产环境典型应用案例架构：
HTTPSQS 1.2 版本的详细使用说明，请访问：http://blog.zyan.cc/httpsqs/
基于HTTP协议的轻量级开源简单队列服务：HTTPSQS[原创]
[ 2009-12-30 07:01 | by 张宴 ]
2009-12-30 07:01 | by 张宴 ]
[文章作者：张宴 本文版本：v1.7.1 最后修改：2011.11.04 转载请注明原文链接：http://blog.zyan.cc/httpsqs/]
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过800行，适合二次开发。
1、HTTPSQS 1.7 压力测试：
采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
使用HTTP Keep-Alive时：23018 requests/sec
关闭HTTP Keep-Alive时：11840 requests/sec
采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
使用HTTP Keep-Alive时：25982 requests/sec
关闭HTTP Keep-Alive时：13294 requests/sec
详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生产环境应用：在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今，运行稳定，既有来自Web服务器的入队列操作，也有来自命令行脚本的批量入、出队列操作。
2、HTTPSQS 的生产环境应用：
●金山通行证（https://my.xoyo.com）
队列应用类型：手机短信上行、手机短信下发、邮件下发
队列应用要求：稳定性高，存储数据量大
队列部署结构：一主、一备两台 HTTPSQS 热备模式
●金山用户行为分析系统（http://kbi.xoyo.com）
队列应用类型：用户鼠标点击、访问URL原始数据采集
队列应用要求：并发性能高，存储数据量大
队列部署结构：多台 HTTPSQS 应用层哈希分布式模式
●金山网络游戏运营平台 KingEyes
队列应用类型：用户操作日志记录
●金山逍遥网站内搜索
队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。
●金山逍遥网全站通用评论系统
队列应用类型：评论发表
●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
队列应用类型：用户上传的照片异步裁剪、缩放处理
●新浪邮箱（http://mail.sina.com.cn）
队列应用类型：用户登陆日志记录
3、HTTPSQS 编译安装：
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过800行，适合二次开发。
1、HTTPSQS 1.7 压力测试：
采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
使用HTTP Keep-Alive时：23018 requests/sec
关闭HTTP Keep-Alive时：11840 requests/sec
采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
使用HTTP Keep-Alive时：25982 requests/sec
关闭HTTP Keep-Alive时：13294 requests/sec
详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生产环境应用：在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今，运行稳定，既有来自Web服务器的入队列操作，也有来自命令行脚本的批量入、出队列操作。
2、HTTPSQS 的生产环境应用：
●金山通行证（https://my.xoyo.com）
队列应用类型：手机短信上行、手机短信下发、邮件下发
队列应用要求：稳定性高，存储数据量大
队列部署结构：一主、一备两台 HTTPSQS 热备模式
●金山用户行为分析系统（http://kbi.xoyo.com）
队列应用类型：用户鼠标点击、访问URL原始数据采集
队列应用要求：并发性能高，存储数据量大
队列部署结构：多台 HTTPSQS 应用层哈希分布式模式
●金山网络游戏运营平台 KingEyes
队列应用类型：用户操作日志记录
●金山逍遥网站内搜索
队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。
●金山逍遥网全站通用评论系统
队列应用类型：评论发表
●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
队列应用类型：用户上传的照片异步裁剪、缩放处理
●新浪邮箱（http://mail.sina.com.cn）
队列应用类型：用户登陆日志记录
3、HTTPSQS 编译安装：
百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]
[ 2009-1-21 10:24 | by 张宴 ]
2009-1-21 10:24 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2009.01.21 转载请注明原文链接：http://blog.zyan.cc/post/394/]
key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。如果辅以Real-Time Search Engine（实时搜索引擎）进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。而MySQL，在几百个并发连接下，就基本上崩溃了。
虽然key-value分布式存储具有极高的性能，但是只能做类似于MySQL的SELECT * FROM table WHERE id = 123;简单主键查询。
“搜索索引引擎＋key-value分布式存储”能够实现高并发的复杂条件查询、全文检索与数据显示。但是，由于索引更新需要时间，目前还不能实现完全意义上的Real-Time Search（实时搜索），只能称之为Near Real-Time Search（准实时搜索）。“搜索索引引擎＋key-value分布式存储”除了做全文检索外，还可以在允许的索引延迟范围内，取代MySQL进行复杂条件查询。
我的文章《亿级数据的高并发通用搜索引擎架构设计》的程序编码已经完成，第一轮测试昨天已经结束，能够在高并发情况下实现1分钟内索引更新，属于“Near Real-Time Search Engine（准实时搜索引擎）＋key-value分布式存储”应用。其中，索引引擎采用Sphinx，存储采用key-value分布式数据库Tokyo Tyrant。
以下是常见的key-value分布式存储系统：
其中，以下几款值得关注：
1、Hypertable：它是搜索引擎公司Zvents根据Google的9位研究人员在2006年发表的一篇论文《Bigtable：结构化数据的分布存储系统》开发的一款开源分布式数据储存系统。Hypertable是按照1000节点比例设计，以 C++撰写，可架在 HDFS 和 KFS 上。尽管还在初期阶段，但已有不错的效能：写入 28M 列的资料，各节点写入速率可达7MB/s，读取速率可达 1M cells/s。Hypertable目前一直没有太多高负载和大存储的应用实例，但是最近，Hypertable项目得到了百度的赞助支持，相信其会有更好的发展。
2、Tokyo Tyrant：它是日本最大的SNS社交网站mixi.jp开发的 Tokyo Cabinet key-value数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。Tokyo Tyrant 具有故障转移、日志文件体积小、大数据量下表现出色等优势，详见：http://blog.zyan.cc/post/362.htm
Tokyo Cabinet 2009年1月18日发布的新版本（Version 1.4.0）已经实现 Table Database，将key-value数据库又扩展了一步，有了MySQL等关系型数据库的表和字段的概念，相信不久的将来，Tokyo Tyrant 也将支持这一功能。值得期待。
key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。如果辅以Real-Time Search Engine（实时搜索引擎）进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。而MySQL，在几百个并发连接下，就基本上崩溃了。
虽然key-value分布式存储具有极高的性能，但是只能做类似于MySQL的SELECT * FROM table WHERE id = 123;简单主键查询。
“搜索索引引擎＋key-value分布式存储”能够实现高并发的复杂条件查询、全文检索与数据显示。但是，由于索引更新需要时间，目前还不能实现完全意义上的Real-Time Search（实时搜索），只能称之为Near Real-Time Search（准实时搜索）。“搜索索引引擎＋key-value分布式存储”除了做全文检索外，还可以在允许的索引延迟范围内，取代MySQL进行复杂条件查询。
我的文章《亿级数据的高并发通用搜索引擎架构设计》的程序编码已经完成，第一轮测试昨天已经结束，能够在高并发情况下实现1分钟内索引更新，属于“Near Real-Time Search Engine（准实时搜索引擎）＋key-value分布式存储”应用。其中，索引引擎采用Sphinx，存储采用key-value分布式数据库Tokyo Tyrant。
以下是常见的key-value分布式存储系统：
其中，以下几款值得关注：
1、Hypertable：它是搜索引擎公司Zvents根据Google的9位研究人员在2006年发表的一篇论文《Bigtable：结构化数据的分布存储系统》开发的一款开源分布式数据储存系统。Hypertable是按照1000节点比例设计，以 C++撰写，可架在 HDFS 和 KFS 上。尽管还在初期阶段，但已有不错的效能：写入 28M 列的资料，各节点写入速率可达7MB/s，读取速率可达 1M cells/s。Hypertable目前一直没有太多高负载和大存储的应用实例，但是最近，Hypertable项目得到了百度的赞助支持，相信其会有更好的发展。
2、Tokyo Tyrant：它是日本最大的SNS社交网站mixi.jp开发的 Tokyo Cabinet key-value数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。Tokyo Tyrant 具有故障转移、日志文件体积小、大数据量下表现出色等优势，详见：http://blog.zyan.cc/post/362.htm
Tokyo Cabinet 2009年1月18日发布的新版本（Version 1.4.0）已经实现 Table Database，将key-value数据库又扩展了一步，有了MySQL等关系型数据库的表和字段的概念，相信不久的将来，Tokyo Tyrant 也将支持这一功能。值得期待。
利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]
[ 2008-8-7 08:53 | by 张宴 ]
2008-8-7 08:53 | by 张宴 ]
[文章作者：张宴 本文版本：v1.4 最后修改：2010.06.11 转载请注明原文链接：http://blog.zyan.cc/read.php/362/]
Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等 DBM 的几倍。
Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。
Tokyo Tyrant 加上 Tokyo Cabinet，构成了一款支持高并发的分布式持久存储系统，对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。这一点，跟新浪的Memcachedb性质一样。
相比Memcachedb而言，Tokyo Tyrant具有以下优势：
1、故障转移：Tokyo Tyrant支持双机互为主辅模式，主辅库均可读写，而Memcachedb目前支持类似MySQL主辅库同步的方式实现读写分离，支持“主服务器可读写、辅助服务器只读”模式。
这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器，是因为当 Memcache 客户端使用 addServer 服务器池时，是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的，PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制，当 addserver 了2台 Memcached 服务器，而其中1台宕机了，那么 current_server_num 会由原先的2变成1。
引用 memcached 官方网站和 PHP 手册中的两段话：
2、日志文件体积小：Tokyo Tyrant用于主辅同步的日志文件比较小，大约是数据库文件的1.3倍，而Memcachedb的同步日志文件非常大，如果不定期清理，很容易将磁盘写满。
3、超大数据量下表现出色：
Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等 DBM 的几倍。
Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。
Tokyo Tyrant 加上 Tokyo Cabinet，构成了一款支持高并发的分布式持久存储系统，对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。这一点，跟新浪的Memcachedb性质一样。
相比Memcachedb而言，Tokyo Tyrant具有以下优势：
1、故障转移：Tokyo Tyrant支持双机互为主辅模式，主辅库均可读写，而Memcachedb目前支持类似MySQL主辅库同步的方式实现读写分离，支持“主服务器可读写、辅助服务器只读”模式。
这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器，是因为当 Memcache 客户端使用 addServer 服务器池时，是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的，PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制，当 addserver 了2台 Memcached 服务器，而其中1台宕机了，那么 current_server_num 会由原先的2变成1。
引用 memcached 官方网站和 PHP 手册中的两段话：
引用
http://www.danga.com/memcached/
If a host goes down, the API re-maps that dead host's requests onto the servers that are available.
http://cn.php.net/manual/zh/function.Memcache-addServer.php
Failover may occur at any stage in any of the methods, as long as other servers are available the request the user won't notice. Any kind of socket or Memcached server level errors (except out-of-memory) may trigger the failover. Normal client errors such as adding an existing key will not trigger a failover.
If a host goes down, the API re-maps that dead host's requests onto the servers that are available.
http://cn.php.net/manual/zh/function.Memcache-addServer.php
Failover may occur at any stage in any of the methods, as long as other servers are available the request the user won't notice. Any kind of socket or Memcached server level errors (except out-of-memory) may trigger the failover. Normal client errors such as adding an existing key will not trigger a failover.
2、日志文件体积小：Tokyo Tyrant用于主辅同步的日志文件比较小，大约是数据库文件的1.3倍，而Memcachedb的同步日志文件非常大，如果不定期清理，很容易将磁盘写满。
3、超大数据量下表现出色：
MySQL Memcache_engine的安装与使用[原创]
[ 2008-7-20 13:58 | by 张宴 ]
2008-7-20 13:58 | by 张宴 ]
[文章作者：张宴 本文版本：v1.1 最后修改：2008.09.09 转载请注明原文链接：http://blog.zyan.cc/post/357/]
鉴于国内外还没有人撰写如何安装Memcache_engine的文章，于是，我根据自己的编译安装步骤，写下此文。
Memcache_engine是一个MySQL 5.1数据库的存储引擎，它能够让用户通过标准的SQL语句（SELECT/UPDATE/INSERTE/DELETE）访问Memcached（还支持新浪的Memcachedb、dbcached）中存放的数据。
限制：
1、Memcache表必须有主键。
2、只能使用主键去查询，即只能使用SELECT ... FROM ... WHERE id = ... 方式去查询。
3、不支持自增ID。
安装与使用：
1、编译安装memcache_engine的步骤：
注意：红色标记部分为MySQL 5.1.22以上版本的源码路径。
鉴于国内外还没有人撰写如何安装Memcache_engine的文章，于是，我根据自己的编译安装步骤，写下此文。
Memcache_engine是一个MySQL 5.1数据库的存储引擎，它能够让用户通过标准的SQL语句（SELECT/UPDATE/INSERTE/DELETE）访问Memcached（还支持新浪的Memcachedb、dbcached）中存放的数据。
限制：
1、Memcache表必须有主键。
2、只能使用主键去查询，即只能使用SELECT ... FROM ... WHERE id = ... 方式去查询。
3、不支持自增ID。
安装与使用：
1、编译安装memcache_engine的步骤：
cd /tmp
wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.26-rc.tar.gz/from/http://mirror.x10.com/mirror/mysql/
tar zxvf mysql-5.1.26-rc.tar.gz
#安装、配置MySQL的步骤省略，注意不要以静态方式编译安装。
wget http://download.tangent.org/libmemcached-0.23.tar.gz
tar zxvf libmemcached-0.23.tar.gz
cd libmemcached-0.23/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://xmlsoft.org/sources/libxml2-2.6.32.tar.gz
tar zxvf libxml2-2.6.32.tar.gz
cd libxml2-2.6.32/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/libxmlrow-0.2.tar.gz
tar zxvf libxmlrow-0.2.tar.gz
cd libxmlrow-0.2/
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/memcache_engine-0.7.tar.gz
tar zxvf memcache_engine-0.7.tar.gz
cd memcache_engine-0.7/
sed -i "s#uint16_t#uint32_t#g" ./src/ha_memcache.cc
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine --with-mysql=/tmp/mysql-5.1.26-rc
make
make install
cd ../
wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.26-rc.tar.gz/from/http://mirror.x10.com/mirror/mysql/
tar zxvf mysql-5.1.26-rc.tar.gz
#安装、配置MySQL的步骤省略，注意不要以静态方式编译安装。
wget http://download.tangent.org/libmemcached-0.23.tar.gz
tar zxvf libmemcached-0.23.tar.gz
cd libmemcached-0.23/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://xmlsoft.org/sources/libxml2-2.6.32.tar.gz
tar zxvf libxml2-2.6.32.tar.gz
cd libxml2-2.6.32/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/libxmlrow-0.2.tar.gz
tar zxvf libxmlrow-0.2.tar.gz
cd libxmlrow-0.2/
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine
make
make install
cd ../
wget http://download.tangent.org/memcache_engine-0.7.tar.gz
tar zxvf memcache_engine-0.7.tar.gz
cd memcache_engine-0.7/
sed -i "s#uint16_t#uint32_t#g" ./src/ha_memcache.cc
export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/
./configure --prefix=/usr/local/memcache_engine --with-mysql=/tmp/mysql-5.1.26-rc
make
make install
cd ../
注意：红色标记部分为MySQL 5.1.22以上版本的源码路径。
dbcached──“分布式 key-value 数据库内存缓存系统”发布[原创]
[ 2008-2-18 20:22 | by 张宴 ]
2008-2-18 20:22 | by 张宴 ]
前言：dbcached 1.0 beta* 在 Memcached 1.2.4 的基础上编写而成，也是我的第一个开源C项目。编写 dbcached 的目的是为了最大限度的发挥 Memcached 内存缓存的优势，便捷地维护 Memcached 服务器节点哈希列表，智能地支持 Memcached 故障转移，同时保证数据的持久化存储。
dbcached
协议：New BSD License
作者：张宴
网址：http://code.google.com/p/dbcached/
dbcached 是什么?
● dbcached 是一款基于 Memcached 和 NMDB 的分布式 key-value 数据库内存缓存系统。
● dbcached = Memcached + 持久化存储管理器 + NMDB 客户端接口
● Memcached 是一款高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。
● NMDB 是一款多协议网络数据库(dbm类)管理器，它由内存缓存和磁盘存储两部分构成，使用 QDBM 或 Berkeley DB 作为后端数据库。
● QDBM 是一个管理数据库的例程库，它参照 GDBM 为了下述三点而被开发：更高的处理速度，更小的数据库文件大小，和更简单的API。QDBM 读写速度比 Berkeley DB 要快，详细速度比较见《Report of Benchmark Test》。
Memcached 和 dbcached 在功能上一样吗?
● 兼容：Memcached 能做的，dbcached 都能做。除此之外，dbcached 还将“Memcached、持久化存储管理器、NMDB 客户端接口”在一个程序中结合起来，对任何原有 Memcached 客户端来讲，dbcached 仍旧是个 Memcached 内存对象缓存系统，但是，它的数据可以持久存储到本机或其它服务器上的 QDBM 或 Berkeley DB 数据库中。
dbcached
协议：New BSD License
作者：张宴
网址：http://code.google.com/p/dbcached/
dbcached 是什么?
● dbcached 是一款基于 Memcached 和 NMDB 的分布式 key-value 数据库内存缓存系统。
● dbcached = Memcached + 持久化存储管理器 + NMDB 客户端接口
● Memcached 是一款高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。
● NMDB 是一款多协议网络数据库(dbm类)管理器，它由内存缓存和磁盘存储两部分构成，使用 QDBM 或 Berkeley DB 作为后端数据库。
● QDBM 是一个管理数据库的例程库，它参照 GDBM 为了下述三点而被开发：更高的处理速度，更小的数据库文件大小，和更简单的API。QDBM 读写速度比 Berkeley DB 要快，详细速度比较见《Report of Benchmark Test》。
Memcached 和 dbcached 在功能上一样吗?
● 兼容：Memcached 能做的，dbcached 都能做。除此之外，dbcached 还将“Memcached、持久化存储管理器、NMDB 客户端接口”在一个程序中结合起来，对任何原有 Memcached 客户端来讲，dbcached 仍旧是个 Memcached 内存对象缓存系统，但是，它的数据可以持久存储到本机或其它服务器上的 QDBM 或 Berkeley DB 数据库中。
新浪发起的UNIX开源软件项目
[ 2008-1-10 08:45 | by 张宴 ]
2008-1-10 08:45 | by 张宴 ]
Memcachedb
协议：New BSD License
作者：stvchu, gary.caokai, forever.sky81
团队：新浪互动社区事业部──博客产品
网址：http://www.memcachedb.org/
Memcachedb = memcache + Berkeley DB
Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。
前端：memcached的网络层
后端：Berkeley DB存储
写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
• 支持的memcache命令
get, set, add, replace
incr, decr
delete
stats
flush_all
• 私有命令
db_checkpoint, db_archive
db_ismaster, db_whoismaster (for replication)
编译及安装方法：
http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx
ncache
协议：New BSD License
作者：shinepf, shuiyang
团队：新浪互动社区事业部──博客产品
网址：http://code.google.com/p/ncache/
ncache是一款基于nginx的缓存系统，比Squid更快更高效。
01
协议：New BSD License
作者：stvchu, gary.caokai, forever.sky81
团队：新浪互动社区事业部──博客产品
网址：http://www.memcachedb.org/
Memcachedb = memcache + Berkeley DB
Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。
前端：memcached的网络层
后端：Berkeley DB存储
写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
• 支持的memcache命令
get, set, add, replace
incr, decr
delete
stats
flush_all
• 私有命令
db_checkpoint, db_archive
db_ismaster, db_whoismaster (for replication)
编译及安装方法：
http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx
ncache
协议：New BSD License
作者：shinepf, shuiyang
团队：新浪互动社区事业部──博客产品
网址：http://code.google.com/p/ncache/
ncache是一款基于nginx的缓存系统，比Squid更快更高效。
01
