[文章作者:张宴 本文版本:v1.0 最后修改:2010.03.18 转载请注明原文链接:http://blog.zyan.cc/httpsqs_1_2/]
HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址:http://code.google.com/p/httpsqs/
使用文档:http://blog.zyan.cc/httpsqs/
使用环境:Linux(同时支持32位、64位操作系统,推荐使用64位操作系统)
软件作者:张宴
队列(Queue)又称先进先出表(First In First Out),即先进入队列的元素,先从队列中取出。加入元素的一头叫“队头”,取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储,当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据,就可采取消息队列来异步插入。另外,还可以将较慢的处理逻辑、有并发数量限制的处理逻辑,通过消息队列放在后台处理,例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征:
● 非常简单,基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速,入队列、出队列速度超过10000次/秒。
● 高并发,支持上万的并发连接,C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗,海量数据存储,存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态(入队列位置、出队列位置、未读队列数量、最大队列数量)。
● 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。
● 查看队列内容时,支持多字符集编码。
● 源代码不超过700行,适合二次开发。
HTTPSQS 1.2 版本增加的功能:
1、服务器端:
● PUT入队列、GET出时,1.2版本在Header头增加了一行Pos,输出当前队列“写入点”或“读取点”。假设从队列取出一条消息,这条消息的队列读取点Pos为7,将这条消息插入数据库失败了,那么,就可以在失败Pos日志文件中记录这个队列点。过段时间后,只要该Pos点的数据未被覆盖,通过“http://127.0.0.1:1218/?charset=utf-8&name=your_queue_name&opt=view&pos=7”则可以再次取出该条消息,做失败原因分析或进一步处理。
● PUT入队列时,如果“队列写入点”追上“队列读取点”,会返回“HTTPSQS_PUT_END”,提示队列已满,而不是像1.1版本那样直接覆盖未读数据。
2、客户端:
● 增加了Perl版本的客户端。感谢网友tonny0830为HTTPSQS开发了Perl客户端。
● PHP客户端Class增加了函数$httpsqs->gets($host, $port, $charset, $name)、$httpsqs->pgets($host, $port, $charset, $name),详细使用说明请见:http://blog.zyan.cc/httpsqs/
HTTPSQS 1.1 版本如何升级到 HTTPSQS 1.2 版本:
●服务器端版本完全兼容:编译安装 HTTPSQS 1.2,替换 HTTPSQS 1.1,然后“kill httpsqs的进程ID”,按原来的启动参数启动 HTTPSQS 即可,数据完全兼容。
●客户端版本完全兼容:HTTPSQS 1.1 版本的PHP客户端,仍可以直接操作 HTTPSQS 1.2。两个版本的PHP客户端函数使用方式、参数相同,1.2 版本的PHP客户端与 1.1 版本相比,增加了gets()和pgets()函数,用于从一个队列中取出文本信息和当前队列读取点Pos。
HTTPSQS 1.2 的生产环境典型应用案例架构:
HTTPSQS 1.2 版本的详细使用说明,请访问:http://blog.zyan.cc/httpsqs/
HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址:http://code.google.com/p/httpsqs/
使用文档:http://blog.zyan.cc/httpsqs/
使用环境:Linux(同时支持32位、64位操作系统,推荐使用64位操作系统)
软件作者:张宴
队列(Queue)又称先进先出表(First In First Out),即先进入队列的元素,先从队列中取出。加入元素的一头叫“队头”,取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储,当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据,就可采取消息队列来异步插入。另外,还可以将较慢的处理逻辑、有并发数量限制的处理逻辑,通过消息队列放在后台处理,例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征:
● 非常简单,基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速,入队列、出队列速度超过10000次/秒。
● 高并发,支持上万的并发连接,C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗,海量数据存储,存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态(入队列位置、出队列位置、未读队列数量、最大队列数量)。
● 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。
● 查看队列内容时,支持多字符集编码。
● 源代码不超过700行,适合二次开发。
HTTPSQS 1.2 版本增加的功能:
1、服务器端:
● PUT入队列、GET出时,1.2版本在Header头增加了一行Pos,输出当前队列“写入点”或“读取点”。假设从队列取出一条消息,这条消息的队列读取点Pos为7,将这条消息插入数据库失败了,那么,就可以在失败Pos日志文件中记录这个队列点。过段时间后,只要该Pos点的数据未被覆盖,通过“http://127.0.0.1:1218/?charset=utf-8&name=your_queue_name&opt=view&pos=7”则可以再次取出该条消息,做失败原因分析或进一步处理。
● PUT入队列时,如果“队列写入点”追上“队列读取点”,会返回“HTTPSQS_PUT_END”,提示队列已满,而不是像1.1版本那样直接覆盖未读数据。
2、客户端:
● 增加了Perl版本的客户端。感谢网友tonny0830为HTTPSQS开发了Perl客户端。
● PHP客户端Class增加了函数$httpsqs->gets($host, $port, $charset, $name)、$httpsqs->pgets($host, $port, $charset, $name),详细使用说明请见:http://blog.zyan.cc/httpsqs/
HTTPSQS 1.1 版本如何升级到 HTTPSQS 1.2 版本:
●服务器端版本完全兼容:编译安装 HTTPSQS 1.2,替换 HTTPSQS 1.1,然后“kill httpsqs的进程ID”,按原来的启动参数启动 HTTPSQS 即可,数据完全兼容。
●客户端版本完全兼容:HTTPSQS 1.1 版本的PHP客户端,仍可以直接操作 HTTPSQS 1.2。两个版本的PHP客户端函数使用方式、参数相同,1.2 版本的PHP客户端与 1.1 版本相比,增加了gets()和pgets()函数,用于从一个队列中取出文本信息和当前队列读取点Pos。
HTTPSQS 1.2 的生产环境典型应用案例架构:
HTTPSQS 1.2 版本的详细使用说明,请访问:http://blog.zyan.cc/httpsqs/
lillieadela
2021-11-12 16:27
真的很好看,我看过很多其他的帖子,这就是我需要的信息,谢谢分享。 bubble shooter
donkyhote
2023-7-26 14:58
I've read some good stuff here. Definitely worth this mark for reconsideration. I'm not sure why but this site Car Games is pretty awesome for me.
Lucky cola
2024-2-7 15:04
Challenge your friends and emerge as the ultimate champion. Lucky cola
Erika Barnard
2024-3-16 09:59
Slot Monkey Warrior adalah perpaduan sempurna login dewapoker antarapetualangan dan peluang kemenangan yang menguntungkan.Grafis yang mengesankan dan animasi yang halus membuat Slot Monkey Warrior menjadi pengalaman poker 88 visual yang luar biasa.
分页: 3/3 1 2 3