<![CDATA[张宴的博客]]> http://zyan.cc/index.php zh-cn http://zyan.cc/post/362/ <![CDATA[利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> 张宴 <net@s135.com> Thu, 07 Aug 2008 00:53:40 +0000 http://zyan.cc/post/362/ http://blog.zyan.cc/read.php/362/]

　　Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等 DBM 的几倍。

　　点击在新窗口中浏览此图片


　　Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。

　　Tokyo Tyrant 加上 Tokyo Cabinet，构成了一款支持高并发的分布式持久存储系统，对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。这一点，跟新浪的Memcachedb性质一样。

　　相比Memcachedb而言，Tokyo Tyrant具有以下优势：

　　1、故障转移：Tokyo Tyrant支持双机互为主辅模式，主辅库均可读写，而Memcachedb目前支持类似MySQL主辅库同步的方式实现读写分离，支持“主服务器可读写、辅助服务器只读”模式。

　　点击在新窗口中浏览此图片

　　这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器，是因为当 Memcache 客户端使用 addServer 服务器池时，是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的，PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制，当 addserver 了2台 Memcached 服务器，而其中1台宕机了，那么 current_server_num 会由原先的2变成1。

　　引用 memcached 官方网站和 PHP 手册中的两段话：
引用
http://www.danga.com/memcached/
If a host goes down, the API re-maps that dead host's requests onto the servers that are available.

http://cn.php.net/manual/zh/function.Memcache-addServer.php
Failover may occur at any stage in any of the methods, as long as other servers are available the request the user won't notice. Any kind of socket or Memcached server level errors (except out-of-memory) may trigger the failover. Normal client errors such as adding an existing key will not trigger a failover.



　　2、日志文件体积小：Tokyo Tyrant用于主辅同步的日志文件比较小，大约是数据库文件的1.3倍，而Memcachedb的同步日志文件非常大，如果不定期清理，很容易将磁盘写满。


　　3、超大数据量下表现出色：

............

Tags - , , , , , , , , , ]]> http://zyan.cc/post/362/#blogcomment1409 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> dd_macle <user@domain.com> Thu, 07 Aug 2008 05:46:35 +0000 http://zyan.cc/post/362/#blogcomment1409 http://zyan.cc/post/362/#blogcomment1410 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> try <user@domain.com> Thu, 07 Aug 2008 08:03:07 +0000 http://zyan.cc/post/362/#blogcomment1410 http://zyan.cc/post/362/#blogcomment1411 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> peter <user@domain.com> Thu, 07 Aug 2008 09:50:26 +0000 http://zyan.cc/post/362/#blogcomment1411 http://zyan.cc/post/362/#blogcomment1412 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> outrace <user@domain.com> Thu, 07 Aug 2008 13:26:40 +0000 http://zyan.cc/post/362/#blogcomment1412 不过memcachedb的作者做的性能测试，（http://memcachedb.org/benchmark.html）
单线程下memcachedb能做到，读18868/s，写44444/s
怎么比博主说的Tyrant的每秒1W请求要高啊？

另外想请教博主：
对分布式的文件系统是否有研究。
比如：GlusterFS=>http://www.gluster.org/
        MogileFS=>http://www.danga.com/mogilefs/
        FastDFS=>http://code.google.com/p/fastdfs/
        HDFS=>http://hadoop.apache.org/core/docs/current/hdfs_design.html
当然还有其他一些
不知道博主是否有这方面的经验可供分享，谢谢。 ]]> http://zyan.cc/post/362/#blogcomment1414 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> Run <user@domain.com> Fri, 08 Aug 2008 06:00:48 +0000 http://zyan.cc/post/362/#blogcomment1414 http://zyan.cc/post/362/#blogcomment1415 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> hutoo <user@domain.com> Fri, 08 Aug 2008 06:54:15 +0000 http://zyan.cc/post/362/#blogcomment1415 http://zyan.cc/post/362/#blogcomment1423 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> routerpipe <user@domain.com> Thu, 14 Aug 2008 01:20:43 +0000 http://zyan.cc/post/362/#blogcomment1423 http://zyan.cc/post/362/#blogcomment1426 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> routerpipe <user@domain.com> Thu, 14 Aug 2008 05:15:30 +0000 http://zyan.cc/post/362/#blogcomment1426 http://zyan.cc/post/362/#blogcomment1461 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> alxyrh <user@domain.com> Fri, 29 Aug 2008 16:06:33 +0000 http://zyan.cc/post/362/#blogcomment1461 http://zyan.cc/post/362/#blogcomment1526 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> manof <user@domain.com> Tue, 09 Sep 2008 11:06:30 +0000 http://zyan.cc/post/362/#blogcomment1526 2008-8-14 13:15
flash是出来的，视频出不来，我看youku ku6 tudou youtube等都正常，就新浪无法观看,就出来一个“分享你我快乐生活”的开头画面就不播放了
============================
我也是这样，一般是在SINA看到视频的标题，再到其它视频站上去搜索。
我用的是ubuntu,firefox 3.x,flashblock ]]> http://zyan.cc/post/362/#blogcomment1570 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> 神仙 <user@domain.com> Mon, 22 Sep 2008 02:01:42 +0000 http://zyan.cc/post/362/#blogcomment1570 php上用tokyo tyrant，不会自动反序列化
放了一个 array(1,2,3,4,5)，出来就是 'a:5:{i:0;i:1;i:1;i:2;i:2;i:3;i:3;i:4;i:4;i:5;}' 了 ]]> http://zyan.cc/post/362/#blogcomment1601 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> 小黑米 <edwardhey@163.com> Fri, 26 Sep 2008 01:13:46 +0000 http://zyan.cc/post/362/#blogcomment1601 我也遇到和楼上的一样麻烦不过这个还好解决

不过我发现没办法设置过期时间 请问张大侠有遇到这个没 ]]> http://zyan.cc/post/362/#blogcomment1656 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> wqm <user@domain.com> Sun, 19 Oct 2008 00:06:43 +0000 http://zyan.cc/post/362/#blogcomment1656 谢谢！ ]]> http://zyan.cc/post/362/#blogcomment2221 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> 地热 <jond715@sohu.com> Fri, 12 Dec 2008 03:09:17 +0000 http://zyan.cc/post/362/#blogcomment2221 http://zyan.cc/post/362/#blogcomment2337 <![CDATA[[评论] 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创]]]> huaimin <user@domain.com> Mon, 29 Dec 2008 08:16:06 +0000 http://zyan.cc/post/362/#blogcomment2337