[文章作者:张宴 本文版本:v1.0 最后修改:2009.01.21 转载请注明原文链接:http://blog.zyan.cc/post/394/]

  key-value分布式存储系统查询速度快、存放数据量大、支持高并发,非常适合通过主键进行查询,但不能进行复杂的条件查询。如果辅以Real-Time Search Engine(实时搜索引擎)进行复杂条件检索、全文检索,就可以替代并发性能较低的MySQL等关系型数据库,达到高并发、高性能,节省几十倍服务器数量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储,在上万并发连接下,轻松地完成高速查询。而MySQL,在几百个并发连接下,就基本上崩溃了。

  虽然key-value分布式存储具有极高的性能,但是只能做类似于MySQL的SELECT * FROM table WHERE id = 123;简单主键查询。

  “搜索索引引擎+key-value分布式存储”能够实现高并发的复杂条件查询、全文检索与数据显示。但是,由于索引更新需要时间,目前还不能实现完全意义上的Real-Time Search(实时搜索),只能称之为Near Real-Time Search(准实时搜索)。“搜索索引引擎+key-value分布式存储”除了做全文检索外,还可以在允许的索引延迟范围内,取代MySQL进行复杂条件查询。

  我的文章《亿级数据的高并发通用搜索引擎架构设计》的程序编码已经完成,第一轮测试昨天已经结束,能够在高并发情况下实现1分钟内索引更新,属于“Near Real-Time Search Engine(准实时搜索引擎)+key-value分布式存储”应用。其中,索引引擎采用Sphinx,存储采用key-value分布式数据库Tokyo Tyrant

  以下是常见的key-value分布式存储系统:

  

  其中,以下几款值得关注:

  1、Hypertable:它是搜索引擎公司Zvents根据Google的9位研究人员在2006年发表的一篇论文《Bigtable:结构化数据的分布存储系统》开发的一款开源分布式数据储存系统。Hypertable是按照1000节点比例设计,以 C++撰写,可架在 HDFS 和 KFS 上。尽管还在初期阶段,但已有不错的效能:写入 28M 列的资料,各节点写入速率可达7MB/s,读取速率可达 1M cells/s。Hypertable目前一直没有太多高负载和大存储的应用实例,但是最近,Hypertable项目得到了百度的赞助支持,相信其会有更好的发展。

  点击在新窗口中浏览此图片



  2、Tokyo Tyrant:它是日本最大的SNS社交网站mixi.jp开发的 Tokyo Cabinet key-value数据库网络接口。它拥有Memcached兼容协议,也可以通过HTTP协议进行数据交换。对任何原有Memcached客户端来讲,可以将Tokyo Tyrant看成是一个Memcached,但是,它的数据是可以持久存储的。Tokyo Tyrant 具有故障转移、日志文件体积小、大数据量下表现出色等优势,详见:http://blog.zyan.cc/post/362.htm

  Tokyo Cabinet 2009年1月18日发布的新版本(Version 1.4.0)已经实现 Table Database,将key-value数据库又扩展了一步,有了MySQL等关系型数据库的表和字段的概念,相信不久的将来,Tokyo Tyrant 也将支持这一功能。值得期待。

  点击在新窗口中浏览此图片



  3、CouchDB:它是Apache社区基于 Erlang/OTP 构建的高性能、分布式容错非关系型数据库系统(NRDBMS)。它充分利用 Erlang 本身所提供的高并发、分布式容错基础平台,并且参考 Lotus Notes 数据库实现,采用简单的文档数据类型(document-oriented)。在其内部,文档数据均以 JSON 格式存储。对外,则通过基于 HTTP 的 REST 协议实现接口,可以用十几种语言进行自由操作。

  点击在新窗口中浏览此图片



  4、MemcacheDB:它是新浪互动社区事业部为在Memcached基础上,增加Berkeley DB存储层而开发一款支持高并发的分布式持久存储系统,对任何原有Memcached客户端来讲,它仍旧是个Memcached,但是,它的数据是可以持久存储的。

  点击在新窗口中浏览此图片




技术大类 » Cache与存储 | 评论(56) | 引用(5) | 阅读(69561)
飘枫 Email Homepage
2009-1-21 16:32
顶顶,我经常关注的博客
2J
2009-1-21 19:33
不错。好好整,兄弟前途无量的。
巫山霏云 Homepage
2009-1-21 19:39
这个标题-  -~~
有点儿标题党的说

不过内容很不错
gemate
2009-1-22 10:29
能举例说明一下什么情况需要实时搜索或准实时搜索吗?
OMx
2009-1-22 10:46
一直对CouchDB比较有兴趣,可惜也一直找不到关于它的性能测试报告.
gemate
2009-1-22 10:58
bingo
2009-1-22 14:38
couchdb的图很累人啊,呵呵
草根网 Email Homepage
2009-1-29 11:16
收藏至20ju.com
电影网站 Homepage
2009-2-10 19:21
太深.....
dd_macle
2009-2-15 03:13
学习ing...
hqman Email
2009-2-20 16:25
引用
对任何原有Memcached客户端来讲,可以将Tokyo Tyrant看成是一个Memcached

我测试了 java 客户端貌似不兼容阿
小蔡 Email
2009-3-9 09:51
Tokyo Cabinet 2009年1月18日发布的新版本(Version 1.4.0)已经实现 Table Database,将key-value数据库又扩展了一步,有了MySQL等关系型数据库的表和字段的概念,相信不久的将来,Tokyo Tyrant 也将支持这一功能。值得期待。Tokyo Cabinet有必要做得像Mysql那样的关系数据库吗?这样会不会影响了他原有的效率呢?
Klingelton Email Homepage
2009-4-22 16:40
无忧商务网 Homepage
2010-6-25 21:46
收藏到无忧商务网
skf轴承 Homepage
2010-10-1 21:45
微博 Homepage
2010-12-22 13:45
hello
2011-7-4 20:47
问题简单化 建议不要太专业 简简单单 生动讲出来 道清楚原理
louis vuitton uk Email Homepage
2011-11-23 09:09
This louis vuitton uk for sale belongs to the sounding just what are termed as Louis Vuitton vintage best sellers, many other products and services for the reason that range appearing companies.You will easily notice the unfold zippers of this coach outlet store online. That is the decoration. There are some inside pockets for you as well. They are easy to match your clothes and to carry.Let us inspire your inner beauty with fine christian louboutin sale. Purse the elegance in bridal wedding. Enjoy the fashion.
分页: 1/4 第一页 1 2 3 4 下页 最后页
发表评论
表情
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
打开HTML
打开UBB
打开表情
隐藏
记住我
昵称   密码   游客无需密码
网址   电邮   [注册]