<![CDATA[张宴的博客]]> http://zyan.cc/index.php zh-cn http://zyan.cc/post/394/ <![CDATA[百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 张宴 <net@s135.com> Wed, 21 Jan 2009 02:24:20 +0000 http://zyan.cc/post/394/ http://blog.zyan.cc/post/394/]

　　key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。如果辅以Real-Time Search Engine（实时搜索引擎）进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。而MySQL，在几百个并发连接下，就基本上崩溃了。

　　虽然key-value分布式存储具有极高的性能，但是只能做类似于MySQL的SELECT * FROM table WHERE id = 123;简单主键查询。

　　“搜索索引引擎＋key-value分布式存储”能够实现高并发的复杂条件查询、全文检索与数据显示。但是，由于索引更新需要时间，目前还不能实现完全意义上的Real-Time Search（实时搜索），只能称之为Near Real-Time Search（准实时搜索）。“搜索索引引擎＋key-value分布式存储”除了做全文检索外，还可以在允许的索引延迟范围内，取代MySQL进行复杂条件查询。

　　我的文章《亿级数据的高并发通用搜索引擎架构设计》的程序编码已经完成，第一轮测试昨天已经结束，能够在高并发情况下实现1分钟内索引更新，属于“Near Real-Time Search Engine（准实时搜索引擎）＋key-value分布式存储”应用。其中，索引引擎采用Sphinx，存储采用key-value分布式数据库Tokyo Tyrant。

　　以下是常见的key-value分布式存储系统：

　　

　　其中，以下几款值得关注：

　　1、Hypertable：它是搜索引擎公司Zvents根据Google的9位研究人员在2006年发表的一篇论文《Bigtable：结构化数据的分布存储系统》开发的一款开源分布式数据储存系统。Hypertable是按照1000节点比例设计，以 C++撰写，可架在 HDFS 和 KFS 上。尽管还在初期阶段，但已有不错的效能：写入 28M 列的资料，各节点写入速率可达7MB/s，读取速率可达 1M cells/s。Hypertable目前一直没有太多高负载和大存储的应用实例，但是最近，Hypertable项目得到了百度的赞助支持，相信其会有更好的发展。

　　点击在新窗口中浏览此图片


　　2、Tokyo Tyrant：它是日本最大的SNS社交网站mixi.jp开发的 Tokyo Cabinet key-value数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。Tokyo Tyrant 具有故障转移、日志文件体积小、大数据量下表现出色等优势，详见：http://blog.zyan.cc/post/362.htm

　　Tokyo Cabinet 2009年1月18日发布的新版本（Version 1.4.0）已经实现 Table Database，将key-value数据库又扩展了一步，有了MySQL等关系型数据库的表和字段的概念，相信不久的将来，Tokyo Tyrant 也将支持这一功能。值得期待。

　　点击在新窗口中浏览此图片

............

Tags - , , , ]]> http://zyan.cc/post/394/#blogcomment2453 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 飘枫 <admin@tmdbook.com> Wed, 21 Jan 2009 08:32:35 +0000 http://zyan.cc/post/394/#blogcomment2453 http://zyan.cc/post/394/#blogcomment2457 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 2J <user@domain.com> Wed, 21 Jan 2009 11:33:27 +0000 http://zyan.cc/post/394/#blogcomment2457 http://zyan.cc/post/394/#blogcomment2458 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 巫山霏云 <user@domain.com> Wed, 21 Jan 2009 11:39:52 +0000 http://zyan.cc/post/394/#blogcomment2458 有点儿标题党的说

不过内容很不错 ]]> http://zyan.cc/post/394/#blogcomment2459 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> gemate <user@domain.com> Thu, 22 Jan 2009 02:29:26 +0000 http://zyan.cc/post/394/#blogcomment2459 http://zyan.cc/post/394/#blogcomment2460 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> OMx <user@domain.com> Thu, 22 Jan 2009 02:46:28 +0000 http://zyan.cc/post/394/#blogcomment2460 http://zyan.cc/post/394/#blogcomment2461 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> gemate <user@domain.com> Thu, 22 Jan 2009 02:58:30 +0000 http://zyan.cc/post/394/#blogcomment2461 http://www.metabrew.com/article/anti-rdbms-a-list-of-distributed-key-value-stores/ ]]> http://zyan.cc/post/394/#blogcomment2462 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> bingo <user@domain.com> Thu, 22 Jan 2009 06:38:00 +0000 http://zyan.cc/post/394/#blogcomment2462 http://zyan.cc/post/394/#blogcomment2475 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 草根网 <chinaz1974@gmail.com> Thu, 29 Jan 2009 03:16:02 +0000 http://zyan.cc/post/394/#blogcomment2475 http://zyan.cc/post/394/#blogcomment2543 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 电影网站 <user@domain.com> Tue, 10 Feb 2009 11:21:39 +0000 http://zyan.cc/post/394/#blogcomment2543 http://zyan.cc/post/394/#blogcomment2563 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> dd_macle <user@domain.com> Sat, 14 Feb 2009 19:13:11 +0000 http://zyan.cc/post/394/#blogcomment2563 http://zyan.cc/post/394/#blogcomment2614 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> hqman <hqmank@gmail.com> Fri, 20 Feb 2009 08:25:10 +0000 http://zyan.cc/post/394/#blogcomment2614
引用
对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached

我测试了 java 客户端貌似不兼容阿 ]]> http://zyan.cc/post/394/#blogcomment2735 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 小蔡 <cyy0523xc@gmail.com> Mon, 09 Mar 2009 01:51:47 +0000 http://zyan.cc/post/394/#blogcomment2735 http://zyan.cc/post/394/#blogcomment3083 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> Klingelton <Klingelton@gmail.com> Wed, 22 Apr 2009 08:40:21 +0000 http://zyan.cc/post/394/#blogcomment3083 Klingelton ]]> http://zyan.cc/post/394/#blogcomment6237 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> 无忧商务网 <user@domain.com> Fri, 25 Jun 2010 13:46:46 +0000 http://zyan.cc/post/394/#blogcomment6237 http://zyan.cc/post/394/#blogcomment6934 <![CDATA[[评论] 百度、新浪、Mixi、Apache社区赞助的开源key-value分布式存储系统[原创]]]> skf轴承 <user@domain.com> Fri, 01 Oct 2010 13:45:53 +0000 http://zyan.cc/post/394/#blogcomment6934 skf轴承 ]]>