<![CDATA[张宴的博客]]>

<![CDATA[张宴的博客]]> http://zyan.cc/index.php zh-cn http://zyan.cc/tcsql/ <![CDATA[为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> 张宴 <net@s135.com> Fri, 25 Sep 2009 05:27:07 +0000 http://zyan.cc/tcsql/ http://blog.zyan.cc/tcsql/]

　　曾经有人提出，一般数据库缓存分为四种。第一种：单个对象的缓存（一个对象就是数据库一条记录），对于单个对象的临时缓存或永久缓存，用HashMap就可以了，Key-Value方式的Memcached、Memcachedb、Tokyo Tyrant都可以，或者直接对查询数据库的网页采用Squid做缓存，没什么太难的；第二种：列表缓存，就像论坛里帖子的列表；第三种：记录条数的缓存，比如一个论坛板块里有多少个帖子，这样才方便实现分页。第四种：复杂一点的group，sum，count查询，比如一个论坛里按点击数排名的最HOT的帖子列表。第一种比较好实现，后面三种比较困难，虽然可以通过各种方法来解决，但截至目前，似乎还没有使用即简单、并发处理能力又强、实时性又高的解决办法。

　　TCSQL为列表页的实时缓存而生，是金山逍遥网技术支持部平台组以Tokyo Cabinet DBM为底层存储与索引，结合类似Memcached的Key-Value内存对象缓存，借鉴SQL语句的SELECT、INSERT、UPDATE、DELETE思想与功能开发的实时列表缓存数据库，能够较好地解决上述前三种类别，特别是第二种、第三种类别的高并发读写问题。

　　TCSQL采用HTTP GET/POST协议＋JSON数据交换格式在客户端、服务器端之间进行数据交互，支持HTTP协议的任何客户端或语言（例如JavaScript、PHP、JSP、Perl、Python等），都能够连接TCSQL服务器进行操作。这就意味着，一些查询量非常大的应用，甚至可以直接使用运行在用户浏览器端的JavaScript代码访问TCSQL数据库，当然，为了安全起见，你可以在中间用Nginx配以rewrite规则，对TCSQL做个反向代理，限制一下查询权限。

　　利用开源的MySQL UDF自定义函数扩展lib_mysqludf_urlencode、lib_mysqludf_urlencode，以及我们平台组周洋同学编写的lib_mysqludf_http_post扩展，配以MySQL触发器，我们可以在MySQL的某张表发生插入、更新、删除操作时，自动将数据同步到TCSQL数据库，使得TCSQL可以当MySQL从库一样使用。

　　TCSQL实时列表缓存数据库单机能够支撑1万以上的并发连接，QPS（每秒查询率）能够达到5000～15000次。

　　以下是TCSQL在10000并发连接情况下的查询速度（服务器为浪潮NF190服务器，两颗双核Xeon(TM) CPU 2.80GHz、4GB内存、1万转SCSI硬盘。）：

　　1、第一种类型A：主键查询并取出倒序第1条记录（“=”运算）：12155次请求/秒

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=pkey:NUMEQ:随机数值&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=1

　　测试结果：

引用

Benchmarking: 10000 clients, running 60 sec.

Speed=729324 pages/min, 8031913 bytes/sec.
Requests: 60777 susceed, 0 failed.

　　2、第一种类型B：其他索引键查询并取出倒序第1条记录（“=”运算）：11897次请求/秒

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=uid:NUMEQ:随机数值&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=1

　　测试结果：

引用

Benchmarking: 10000 clients, running 60 sec.

Speed=713856 pages/min, 7865884 bytes/sec.
Requests: 59488 susceed, 0 failed.

　　3、第二种类型：根据复合条件查询并取出倒序前10条记录：8778次请求/秒（相当于SELECT * FROM table WHERE dateline >= 随机时间戳 AND idtype = '变换的文本' ORDER BY pkey DESC LIMIT 0,10）

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=dateline:NUMGE:随机时间戳|idtype:STREQ:变换的文本&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=10

　　测试结果：

引用

Benchmarking: 10000 clients, running 60 sec.

Speed=526680 pages/min, 8971878 bytes/sec.
Requests: 43890 susceed, 0 failed.

　　4、第三种类型：统计符合查询条件的记录数量：9160次请求/秒（相当于SELECT count(*) FROM table WHERE dateline >= 随机时间戳 AND idtype = '变换的文本'）

　　查询内容：http://192.168.8.34:3888/?command=select&type=count&where=dateline:NUMGE:随机时间戳|idtype:STREQ:变换的文本

　　测试结果：

引用

Benchmarking: 10000 clients, running 5 sec.

Speed=549648 pages/min, 714542 bytes/sec.
Requests: 45804 susceed, 0 failed.

............

Tags - tcsql , tokyocabinet , tokyo , cabinet , tc , memcached , linux , mysqludf , mysql , http , cache , select , insert , delete , update ]]> http://zyan.cc/tcsql/#blogcomment4092 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> Willko <user@domain.com> Fri, 25 Sep 2009 07:40:18 +0000 http://zyan.cc/tcsql/#blogcomment4092 http://zyan.cc/tcsql/#blogcomment4093 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> 小宝 <ilsanbao@163.com> Fri, 25 Sep 2009 08:57:36 +0000 http://zyan.cc/tcsql/#blogcomment4093 http://zyan.cc/tcsql/#blogcomment4094 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> nicidoggy <nicidoggy@gmail.com> Fri, 25 Sep 2009 10:53:19 +0000 http://zyan.cc/tcsql/#blogcomment4094 http://zyan.cc/tcsql/#blogcomment4095 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> blue <user@domain.com> Fri, 25 Sep 2009 11:22:14 +0000 http://zyan.cc/tcsql/#blogcomment4095 http://zyan.cc/tcsql/#blogcomment4096 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> airwin <user@domain.com> Fri, 25 Sep 2009 11:24:35 +0000 http://zyan.cc/tcsql/#blogcomment4096 http://zyan.cc/tcsql/#blogcomment4098 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> jiangjun <user@domain.com> Fri, 25 Sep 2009 13:02:42 +0000 http://zyan.cc/tcsql/#blogcomment4098 http://zyan.cc/tcsql/#blogcomment4099 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> dengjiuhong <user@domain.com> Fri, 25 Sep 2009 13:48:17 +0000 http://zyan.cc/tcsql/#blogcomment4099 http://zyan.cc/tcsql/#blogcomment4100 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> lnnujxxy <user@domain.com> Fri, 25 Sep 2009 14:29:00 +0000 http://zyan.cc/tcsql/#blogcomment4100 http://zyan.cc/tcsql/#blogcomment4105 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> k <user@domain.com> Sat, 26 Sep 2009 13:54:49 +0000 http://zyan.cc/tcsql/#blogcomment4105 http://zyan.cc/tcsql/#blogcomment4108 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> kgl <user@domain.com> Sun, 27 Sep 2009 09:32:13 +0000 http://zyan.cc/tcsql/#blogcomment4108 http://zyan.cc/tcsql/#blogcomment4114 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> dreamfly_1981 <user@domain.com> Mon, 28 Sep 2009 11:44:29 +0000 http://zyan.cc/tcsql/#blogcomment4114 tcsql是部署在同一台和mysql 相同的服务器还是在不同的服务器。谢谢了 ]]> http://zyan.cc/tcsql/#blogcomment4115 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> 最美别墅 <user@domain.com> Mon, 28 Sep 2009 13:42:46 +0000 http://zyan.cc/tcsql/#blogcomment4115 不错的优化数据库读写效率的好文章。很多开源的东西如果结合的好，并适当地发挥各自的优点，的确可以事半功倍。感谢张宴的开源共享精神。 ]]> http://zyan.cc/tcsql/#blogcomment4120 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> kitsudo <user@domain.com> Tue, 29 Sep 2009 06:45:00 +0000 http://zyan.cc/tcsql/#blogcomment4120 http://zyan.cc/tcsql/#blogcomment4129 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> 太阳里的雪 <user@domain.com> Mon, 05 Oct 2009 05:25:29 +0000 http://zyan.cc/tcsql/#blogcomment4129 http://zyan.cc/tcsql/#blogcomment4158 <![CDATA[[评论] 为列表页缓存而生：TCSQL实时列表缓存数据库帮助文档[原创]]]> crunch <user@domain.com> Sat, 10 Oct 2009 00:34:39 +0000 http://zyan.cc/tcsql/#blogcomment4158