http://zyan.cc/index.php zh-cn http://zyan.cc/httpsqs/ 张宴 <net@s135.com> Tue, 29 Dec 2009 23:01:05 +0000 http://zyan.cc/httpsqs/ 2011.11.04 转载请注明原文链接：http://blog.zyan.cc/httpsqs/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过800行，适合二次开发。

　　

---

　　1、HTTPSQS 1.7 压力测试：

　　采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
　　使用HTTP Keep-Alive时：23018 requests/sec
　　关闭HTTP Keep-Alive时：11840 requests/sec

　　采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
　　使用HTTP Keep-Alive时：25982 requests/sec
　　关闭HTTP Keep-Alive时：13294 requests/sec

　　详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　生产环境应用：在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今，运行稳定，既有来自Web服务器的入队列操作，也有来自命令行脚本的批量入、出队列操作。

---

　　2、HTTPSQS 的生产环境应用：

　　●金山通行证（https://my.xoyo.com）
　　队列应用类型：手机短信上行、手机短信下发、邮件下发
　　队列应用要求：稳定性高，存储数据量大
　　队列部署结构：一主、一备两台 HTTPSQS 热备模式

　　●金山用户行为分析系统（http://kbi.xoyo.com）
　　队列应用类型：用户鼠标点击、访问URL原始数据采集
　　队列应用要求：并发性能高，存储数据量大
　　队列部署结构：多台 HTTPSQS 应用层哈希分布式模式

　　●金山网络游戏运营平台 KingEyes
　　队列应用类型：用户操作日志记录

　　●金山逍遥网站内搜索
　　队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。

　　●金山逍遥网全站通用评论系统
　　队列应用类型：评论发表

　　●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
　　队列应用类型：用户上传的照片异步裁剪、缩放处理

　　●新浪邮箱（http://mail.sina.com.cn）
　　队列应用类型：用户登陆日志记录

---

　　3、HTTPSQS 编译安装：

............

Tags - httpsqs , http , queue , queues , sqs , memcacheq , memcachedb , activemq , starling , amazonsqs , tokyocabinet , simple , service , 队列 , 简单队列 , 消息队列 ]]> http://zyan.cc/httpsqs/#blogcomment4687 Deeka <user@domain.com> Wed, 30 Dec 2009 01:00:42 +0000 http://zyan.cc/httpsqs/#blogcomment4687 http://zyan.cc/httpsqs/#blogcomment4688 zz <user@domain.com> Wed, 30 Dec 2009 02:02:22 +0000 http://zyan.cc/httpsqs/#blogcomment4688 http://zyan.cc/httpsqs/#blogcomment4690 showsky <cnjxxf@gmail.com> Wed, 30 Dec 2009 03:38:19 +0000 http://zyan.cc/httpsqs/#blogcomment4690 http://zyan.cc/httpsqs/#blogcomment4691 qwert <user@domain.com> Wed, 30 Dec 2009 04:37:26 +0000 http://zyan.cc/httpsqs/#blogcomment4691 http://zyan.cc/httpsqs/#blogcomment4692 niniwzw <user@domain.com> Wed, 30 Dec 2009 05:09:47 +0000 http://zyan.cc/httpsqs/#blogcomment4692 http://zyan.cc/httpsqs/#blogcomment4693 niniwzw <user@domain.com> Wed, 30 Dec 2009 05:26:18 +0000 http://zyan.cc/httpsqs/#blogcomment4693 为什么这个地方要用动态内存分配，直接栈内存我觉得就可以了。 ]]> http://zyan.cc/httpsqs/#blogcomment4694 niniwzw <user@domain.com> Wed, 30 Dec 2009 05:36:30 +0000 http://zyan.cc/httpsqs/#blogcomment4694 http://zyan.cc/httpsqs/#blogcomment4695 niniwzw <user@domain.com> Wed, 30 Dec 2009 05:51:40 +0000 http://zyan.cc/httpsqs/#blogcomment4695 如果是 name 这样的小字符串，我感觉用栈内存更加的好。
不知道我说的对不对。 ]]> http://zyan.cc/httpsqs/#blogcomment4699 imsorry <user@domain.com> Wed, 30 Dec 2009 06:26:28 +0000 http://zyan.cc/httpsqs/#blogcomment4699 另外队列中，每条记录大小是否有限制？ ]]> http://zyan.cc/httpsqs/#blogcomment4700 太阳里的雪 <user@domain.com> Wed, 30 Dec 2009 06:27:06 +0000 http://zyan.cc/httpsqs/#blogcomment4700 http://zyan.cc/httpsqs/#blogcomment4701 怪物宝 <user@domain.com> Wed, 30 Dec 2009 07:17:47 +0000 http://zyan.cc/httpsqs/#blogcomment4701 http://zyan.cc/httpsqs/#blogcomment4703 c新手 <user@domain.com> Wed, 30 Dec 2009 08:34:02 +0000 http://zyan.cc/httpsqs/#blogcomment4703 http://zyan.cc/httpsqs/#blogcomment4704 xwsoul <user@domain.com> Wed, 30 Dec 2009 09:19:38 +0000 http://zyan.cc/httpsqs/#blogcomment4704 http://zyan.cc/httpsqs/#blogcomment4705 xwsoul <user@domain.com> Wed, 30 Dec 2009 09:20:13 +0000 http://zyan.cc/httpsqs/#blogcomment4705 原来推上不是首发.. ]]> http://zyan.cc/httpsqs/#blogcomment4706 php新手 <user@domain.com> Wed, 30 Dec 2009 09:42:24 +0000 http://zyan.cc/httpsqs/#blogcomment4706