基于HTTP协议的轻量级开源简单队列服务：HTTPSQS[原创]
[
2009-12-30 07:01 | by 张宴 ]
2009-12-30 07:01 | by 张宴 ]
[文章作者：张宴 本文版本：v1.7.1 最后修改：2011.11.04 转载请注明原文链接：http://blog.zyan.cc/httpsqs/]
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过800行，适合二次开发。
1、HTTPSQS 1.7 压力测试：
采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
使用HTTP Keep-Alive时：23018 requests/sec
关闭HTTP Keep-Alive时：11840 requests/sec
采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
使用HTTP Keep-Alive时：25982 requests/sec
关闭HTTP Keep-Alive时：13294 requests/sec
详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生产环境应用：在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今，运行稳定，既有来自Web服务器的入队列操作，也有来自命令行脚本的批量入、出队列操作。
2、HTTPSQS 的生产环境应用：
●金山通行证（https://my.xoyo.com）
队列应用类型：手机短信上行、手机短信下发、邮件下发
队列应用要求：稳定性高，存储数据量大
队列部署结构：一主、一备两台 HTTPSQS 热备模式
●金山用户行为分析系统（http://kbi.xoyo.com）
队列应用类型：用户鼠标点击、访问URL原始数据采集
队列应用要求：并发性能高，存储数据量大
队列部署结构：多台 HTTPSQS 应用层哈希分布式模式
●金山网络游戏运营平台 KingEyes
队列应用类型：用户操作日志记录
●金山逍遥网站内搜索
队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。
●金山逍遥网全站通用评论系统
队列应用类型：评论发表
●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
队列应用类型：用户上传的照片异步裁剪、缩放处理
●新浪邮箱（http://mail.sina.com.cn）
队列应用类型：用户登陆日志记录
3、HTTPSQS 编译安装：
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址：http://code.google.com/p/httpsqs/
使用文档：http://blog.zyan.cc/httpsqs/
使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
软件作者：张宴
队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征：
● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速，入队列、出队列速度超过10000次/秒。
● 高并发，支持上万的并发连接，C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
● 查看队列内容时，支持多字符集编码。
● 源代码不超过800行，适合二次开发。
1、HTTPSQS 1.7 压力测试：
采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
使用HTTP Keep-Alive时：23018 requests/sec
关闭HTTP Keep-Alive时：11840 requests/sec
采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
使用HTTP Keep-Alive时：25982 requests/sec
关闭HTTP Keep-Alive时：13294 requests/sec
详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生产环境应用：在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今，运行稳定，既有来自Web服务器的入队列操作，也有来自命令行脚本的批量入、出队列操作。
2、HTTPSQS 的生产环境应用：
●金山通行证（https://my.xoyo.com）
队列应用类型：手机短信上行、手机短信下发、邮件下发
队列应用要求：稳定性高，存储数据量大
队列部署结构：一主、一备两台 HTTPSQS 热备模式
●金山用户行为分析系统（http://kbi.xoyo.com）
队列应用类型：用户鼠标点击、访问URL原始数据采集
队列应用要求：并发性能高，存储数据量大
队列部署结构：多台 HTTPSQS 应用层哈希分布式模式
●金山网络游戏运营平台 KingEyes
队列应用类型：用户操作日志记录
●金山逍遥网站内搜索
队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。
●金山逍遥网全站通用评论系统
队列应用类型：评论发表
●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
队列应用类型：用户上传的照片异步裁剪、缩放处理
●新浪邮箱（http://mail.sina.com.cn）
队列应用类型：用户登陆日志记录
3、HTTPSQS 编译安装：
Google 公共 DNS 解析服务器
[ 2009-12-7 07:09 | by 张宴 ]
2009-12-7 07:09 | by 张宴 ]
Google 推出了公共的 DNS 解析服务器（Google Public DNS），可以用来代替 OpenDNS。Google承诺将严格遵循DNS协议，即不阻挡、不劫持和不过滤用户查询。Google Public DNS服务器IP非常好记，过目难忘：
当然，短IP的DNS服务器还有以下这些：
引用
8.8.8.8 google-public-dns-a.google.com
8.8.4.4 google-public-dns-b.google.com
8.8.4.4 google-public-dns-b.google.com
当然，短IP的DNS服务器还有以下这些：
引用
4.3.2.1
4.2.2.1
4.2.2.2
4.2.2.3
4.2.2.4
4.2.2.5
4.2.2.6
4.2.2.1
4.2.2.2
4.2.2.3
4.2.2.4
4.2.2.5
4.2.2.6
