张宴的博客

　　[文章作者：张宴 本文版本：v1.0 最后修改：2011.07.26 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_7/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

---

　　HTTPSQS 1.7 版本更新内容：

　　下面的内容不只是介绍 HTTPSQS 1.7 更新了哪些东西，更多的介绍在于：如何绕开 Libevent 2.0.x evhttp 使用过程中，无法正常处理包含“|”字符的 URI 参数的问题；提供了一份比 Libevent 官方网站更新的在线文档；Linux 下如何动态编译程序，运行时不用在 /etc/ld.so.conf 文件中添加动态链接库路径。

　　1、针对 Libevent 2.0.x 版本 evhttp_parse_query 函数的 BUG。

　　网友发邮件，反应了一个 HTTPSQS 的 BUG，见下图，data 的值为NULL。我查找发现，这不是 HTTPSQS 的 BUG，而是 Libevent 2.0.x 版本的 BUG。在 Libevent 1.4.14b 版本中，evhttp_parse_query 函数是能够正常处理包含“|”字符的 URI 的，而在 Libevent 2.0.12 版本中，同样使用 evhttp_parse_query 函数，包含“|”字符的 URI  处理后的结果是 NULL。

　　

　　对比 Libevent 2.0.12 和 1.4.14b 版本的 evhttp_parse_query 函数代码，发现在 2.0.12 版本中，evhttp_parse_query(const char *uri, struct evkeyvalq *headers) 实际变成了调用 evhttp_parse_query_impl(uri, headers, 1) 函数，该函数内再调用的一个 2.0.x 版本新增的函数 evhttp_uri_parse(const char *source_uri)，逻辑处理代码在 evhttp_uri_parse_with_flags(const char *source_uri, unsigned flags) 函数中。evhttp_uri_parse(const char *source_uri) 无法正确解析含有“|”的URL，遇到类似“http://127.0.0.1:1218/?opt=get&name=aaa|bbb”的URL，直接返回NULL，也就是 BUG 所在。

　　libevent-2.0.12-stable/http.c
　　

　　

　　

　　不建议修改第三方库，这个 BUG 还是留给 Libevent 自己去解决吧。使用 Libevent 2.0.x evhttp 作开发的同学，遇到URI参数中包含“|”的问题，注意一下吧。

　　我修改了 HTTPSQS 代码，在 HTTPSQS 1.7 版本，采用以下方式来绕开evhttp_uri_parse(const char *source_uri)函数，解决这个问题。其中用到了 Libevent 2.0.x  evhttp_request 结构体中新增的 struct evhttp_uri *uri_elems，以及新增的函数 evhttp_parse_query_str (const char *uri, struct evkeyvalq *headers)。
/* 处理模块 */ void httpsqs_handler(struct evhttp_request *req, void *arg) {         struct evbuffer *buf;         buf = evbuffer_new();              /* 分析URL参数 */           const char *httpsqs_query_part;         struct evkeyvalq httpsqs_http_query;         httpsqs_query_part = evhttp_uri_get_query(req->uri_elems);         evhttp_parse_query_str(httpsqs_query_part, &httpsqs_http_query);
　　Libevent 的官方文档只有 1.4.10-stable 和 2.0.1-alpha 版本的，2.0.1x 很多新增的函数、结构体都没有。

　　我这里提供一份最新的 Libevent 在线文档： http://blog.zyan.cc/book/libevent/

---

　　2、静态编译改为动态编译，并指定程序运行时查找的动态链接库路径

　　一些网友反映，CentOS 6.0、Fedora 等系统没有默认安装lz、lbz2、lrt、...等静态链接库，出现无法编译HTTPSQS的情况：


　　HTTPSQS 1.7 版本改为动态编译，编译时使用“-Wl,-rpath”参数指定了程序运行时的动态库搜索路径。这样就不需要在 /etc/ld.so.conf 中 添加 HTTPSQS 程序运行时需要的 libevent、tokyocabinet 动态链接库路径了，可以避免与其他软件（例如：Memcached、TT）使用的 libevent、tokyocabinet 动态链接库版本相冲突。详情请见 Makefile 文件：

　　[文章作者：张宴 本文版本：v1.0 最后修改：2011.04.21 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_6/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过800行，适合二次开发。

---

　　HTTPSQS 1.6 版本更新内容：

　　一、服务器端：

　　1、修正了定时将内存缓冲区内容同步到磁盘，有时候出现段错误，导致进程崩溃的BUG。感谢以下网友的反馈：

　　

　　

　　

---

　　2、修正了判断队列已满，遗漏的一种情况。感谢以下网友的反馈：

　　

　　

---

　　3、改为父子进程模式，生产环境稳定性更高。

　　4、改进了 ps 命令查看 httpsqs 的用户体验：

　　

---

　　5、增加了密码校验功能（通过以下启动参数设置密码，通过URL参数“/?auth=密码”访问）：

　　

---

　　6、改为静态编译，编译完成后的 HTTPSQS 二进制文件，运行不再依赖 Libevent、Tokyocabinet 动态链接库。

---

　　7、HTTPSQS 旧版本如何升级到 HTTPSQS 1.6 版本：

　　HTTPSQS 1.6 版本完全兼容以前版本：编译安装 HTTPSQS 1.6，替换旧的 HTTPSQS，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。

---

　　二、客户端：

　　1、客户端代码不再集成在 HTTPSQS 源码包中，可通过链接自行查看。

---

　　HTTPSQS 1.6 版本的详细使用说明，请访问： http://blog.zyan.cc/httpsqs/

　　[文章作者：张宴 本文版本：v1.0 最后修改：2010.06.29 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_3/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过800行，适合二次开发。

---

　　HTTPSQS 1.3 版本增加的功能：

　　1、服务器端：

　　● 增加了重要功能：定时将内存缓冲区内容写到磁盘的功能。
　　HTTPSQS 1.2 及以前的版本，只有当内存缓冲区满的时候，才将内存中的内容写到磁盘，如果这期间服务器宕机，将导致一部分数据丢失。从 1.3 版本开始，支持了定时（默认5秒钟/次）将内存缓冲区内容同步到磁盘的功能，可以在启动 HTTPSQS 时使用“-s <second>”参数设置同步间隔。在 HTTPSQS 运行过程中，可以通过浏览器访问“http://host:port/?name=your_queue_name&opt=synctime&num=间隔秒数”来实时修改同步间隔，无需重启。

　　● 增加了辅助功能：以JSON格式查看队列状态。
　　原有的查询队列状态功能“http://host:port/?name=your_queue_name&opt=status”，适合通过浏览器访问，人工查看，不便于程序处理。新增加的功能“http://host:port/?name=your_queue_name&opt=status_json”，以JSON格式输出队列状态信息，便于客户端程序进行处理，输出的格式示例如下：


　　● 增加了以下四项启动参数：


　　2、客户端：

　　● PHP客户端Class增加了Keep-alive长连接断线自动检测、自动重连功能，PHP客服端守护进程从HTTPSQS读取数据时，不用考虑连接异常断开处理。非常适合PHP客服端作为守护进程，从队列GET读取数据，或者批量往队列中写入数据的应用。

　　● PHP客户端Class增加了函数$httpsqs->status_json($host, $port, $charset, $name);、$httpsqs->synctime($host, $port, $charset, $name, $num);、$httpsqs->pstatus_json($host, $port, $charset, $name);、$httpsqs->psynctime($host, $port, $charset, $name, $num);，详细使用说明请见：http://blog.zyan.cc/httpsqs/

---

　　HTTPSQS 1.1/1.2 版本如何升级到 HTTPSQS 1.2 版本：

　　●服务器端版本完全兼容：编译安装 HTTPSQS 1.3，替换 HTTPSQS 1.1/1.2，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。

　　●客户端版本完全兼容：HTTPSQS 1.3 版本的PHP客户端，仍可以直接操作 HTTPSQS 1.1/1.2。两个版本的PHP客户端函数使用方式、参数相同，1.3 版本的PHP客户端与 1.2 版本相比，增加了status_json()、synctime()、pstatus_json()、psynctime()四个函数。

---

　　HTTPSQS 的生产环境应用：

　　●金山通行证（https://my.xoyo.com）
　　队列应用类型：手机短信上行、手机短信下发、邮件下发
　　队列应用要求：稳定性高，存储数据量大
　　队列部署结构：一主、一备两台 HTTPSQS 热备模式

　　●金山用户行为分析系统（http://kbi.xoyo.com）
　　队列应用类型：用户鼠标点击、访问URL原始数据采集
　　队列应用要求：并发性能高，存储数据量大
　　队列部署结构：多台 HTTPSQS 应用层哈希分布式模式

　　●金山逍遥网站内搜索
　　队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。

　　●金山逍遥网全站通用评论系统
　　队列应用类型：评论发表

　　●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
　　队列应用类型：用户上传的照片异步裁剪、缩放处理

　　●新浪邮箱（http://mail.sina.com.cn）
　　队列应用类型：用户登陆日志记录

---

　　HTTPSQS 1.3 版本的详细使用说明，请访问： http://blog.zyan.cc/httpsqs/

　　[文章作者：张宴 本文版本：v1.0 最后修改：2010.03.18 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_2/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

---

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过700行，适合二次开发。

---

　　HTTPSQS 1.2 版本增加的功能：

　　1、服务器端：

　　● PUT入队列、GET出时，1.2版本在Header头增加了一行Pos，输出当前队列“写入点”或“读取点”。假设从队列取出一条消息，这条消息的队列读取点Pos为7，将这条消息插入数据库失败了，那么，就可以在失败Pos日志文件中记录这个队列点。过段时间后，只要该Pos点的数据未被覆盖，通过“http://127.0.0.1:1218/?charset=utf-8&name=your_queue_name&opt=view&pos=7”则可以再次取出该条消息，做失败原因分析或进一步处理。

　　● PUT入队列时，如果“队列写入点”追上“队列读取点”，会返回“HTTPSQS_PUT_END”，提示队列已满，而不是像1.1版本那样直接覆盖未读数据。

　　2、客户端：

　　● 增加了Perl版本的客户端。感谢网友tonny0830为HTTPSQS开发了Perl客户端。

　　● PHP客户端Class增加了函数$httpsqs->gets($host, $port, $charset, $name)、$httpsqs->pgets($host, $port, $charset, $name)，详细使用说明请见：http://blog.zyan.cc/httpsqs/

---

　　HTTPSQS 1.1 版本如何升级到 HTTPSQS 1.2 版本：

　　●服务器端版本完全兼容：编译安装 HTTPSQS 1.2，替换 HTTPSQS 1.1，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。

　　●客户端版本完全兼容：HTTPSQS 1.1 版本的PHP客户端，仍可以直接操作 HTTPSQS 1.2。两个版本的PHP客户端函数使用方式、参数相同，1.2 版本的PHP客户端与 1.1 版本相比，增加了gets()和pgets()函数，用于从一个队列中取出文本信息和当前队列读取点Pos。

---

　　HTTPSQS 1.2 的生产环境典型应用案例架构：

　　

---

　　HTTPSQS 1.2 版本的详细使用说明，请访问：http://blog.zyan.cc/httpsqs/

　　[文章作者：张宴 本文版本：v1.7.1 最后修改：2011.11.04 转载请注明原文链接：http://blog.zyan.cc/httpsqs/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过800行，适合二次开发。

　　

---

　　1、HTTPSQS 1.7 压力测试：

　　采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
　　使用HTTP Keep-Alive时：23018 requests/sec
　　关闭HTTP Keep-Alive时：11840 requests/sec

　　采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
　　使用HTTP Keep-Alive时：25982 requests/sec
　　关闭HTTP Keep-Alive时：13294 requests/sec

　　详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　生产环境应用：在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今，运行稳定，既有来自Web服务器的入队列操作，也有来自命令行脚本的批量入、出队列操作。

---

　　2、HTTPSQS 的生产环境应用：

　　●金山通行证（https://my.xoyo.com）
　　队列应用类型：手机短信上行、手机短信下发、邮件下发
　　队列应用要求：稳定性高，存储数据量大
　　队列部署结构：一主、一备两台 HTTPSQS 热备模式

　　●金山用户行为分析系统（http://kbi.xoyo.com）
　　队列应用类型：用户鼠标点击、访问URL原始数据采集
　　队列应用要求：并发性能高，存储数据量大
　　队列部署结构：多台 HTTPSQS 应用层哈希分布式模式

　　●金山网络游戏运营平台 KingEyes
　　队列应用类型：用户操作日志记录

　　●金山逍遥网站内搜索
　　队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。

　　●金山逍遥网全站通用评论系统
　　队列应用类型：评论发表

　　●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
　　队列应用类型：用户上传的照片异步裁剪、缩放处理

　　●新浪邮箱（http://mail.sina.com.cn）
　　队列应用类型：用户登陆日志记录

---

　　3、HTTPSQS 编译安装：