新浪发起的UNIX开源软件项目
[
2008-1-10 08:45 | by 张宴 ]
2008-1-10 08:45 | by 张宴 ]
Memcachedb
协议：New BSD License
作者：stvchu, gary.caokai, forever.sky81
团队：新浪互动社区事业部──博客产品
网址：http://www.memcachedb.org/
Memcachedb = memcache + Berkeley DB
Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。
前端：memcached的网络层
后端：Berkeley DB存储
写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
• 支持的memcache命令
get, set, add, replace
incr, decr
delete
stats
flush_all
• 私有命令
db_checkpoint, db_archive
db_ismaster, db_whoismaster (for replication)
编译及安装方法：
http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx
ncache
协议：New BSD License
作者：shinepf, shuiyang
团队：新浪互动社区事业部──博客产品
网址：http://code.google.com/p/ncache/
ncache是一款基于nginx的缓存系统，比Squid更快更高效。
01
协议：New BSD License
作者：stvchu, gary.caokai, forever.sky81
团队：新浪互动社区事业部──博客产品
网址：http://www.memcachedb.org/
Memcachedb = memcache + Berkeley DB
Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。
前端：memcached的网络层
后端：Berkeley DB存储
写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
• 支持的memcache命令
get, set, add, replace
incr, decr
delete
stats
flush_all
• 私有命令
db_checkpoint, db_archive
db_ismaster, db_whoismaster (for replication)
编译及安装方法：
http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx
ncache
协议：New BSD License
作者：shinepf, shuiyang
团队：新浪互动社区事业部──博客产品
网址：http://code.google.com/p/ncache/
ncache是一款基于nginx的缓存系统，比Squid更快更高效。
01
使用Varnish代替Squid做网站缓存加速器的详细解决方案[原创]
[ 2007-11-29 22:11 | by 张宴 ]
2007-11-29 22:11 | by 张宴 ]
[文章作者：张宴 本文版本：v1.2 最后修改：2008.01.02 转载请注明出处：http://blog.zyan.cc]
我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》，但当时仅仅是用着玩，没做深入研究。
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。
在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。
下面来安装Varnish网站缓存加速器（Linux系统）：
1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：
我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》，但当时仅仅是用着玩，没做深入研究。
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。
在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。
下面来安装Varnish网站缓存加速器（Linux系统）：
1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：
找到一款批量清除Squid缓存的小工具
[ 2007-11-2 17:49 | by 张宴 ]
2007-11-2 17:49 | by 张宴 ]
以前我写过一篇《清除指定squid缓存文件的脚本》，但在取URL时存在10%的错误率。如今找到一款老外的程序，可以批量清除某类URL的Squid缓存，支持正则表达式。
下载网址：http://www.wa.apana.org.au/~dean/squidpurge/
编译：
清除Squid缓存示例：
1、清除 URL 以“.mp3”结尾的缓存文件（例如 http://www.zyan.cc/abc.mp3、http://www.zyan.cc/01/a.mp3）
2、清除URL中包含zyan.cc的所有缓存：
我喜欢将程序推到后台去执行，让它慢慢地去清Squid缓存，同时将输出内容记录到purge.log文件：
下载网址：http://www.wa.apana.org.au/~dean/squidpurge/
编译：
引用
wget http://www.wa.apana.org.au/~dean/sources/purge-20040201-src.tar.gz
tar zxvf purge-20040201-src.tar.gz
cd purge
make
tar zxvf purge-20040201-src.tar.gz
cd purge
make
清除Squid缓存示例：
1、清除 URL 以“.mp3”结尾的缓存文件（例如 http://www.zyan.cc/abc.mp3、http://www.zyan.cc/01/a.mp3）
引用
./purge -p localhost:80 -P 1 -se '\.mp3$'
2、清除URL中包含zyan.cc的所有缓存：
引用
./purge -p localhost:80 -P 1 -se 'zyan.cc'
我喜欢将程序推到后台去执行，让它慢慢地去清Squid缓存，同时将输出内容记录到purge.log文件：
引用
./purge -p localhost:80 -P 1 -se 'zyan.cc' > purge.log 2>&1 &
初步试用Squid的替代产品──Varnish Cache网站加速器[原创]
[ 2007-8-29 18:45 | by 张宴 ]
2007-8-29 18:45 | by 张宴 ]
Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (vg.no) 使用3台Varnish代替了原来的12台squid，性能比以前更好。
Varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是Varnish cache设计架构。
Varnish可以在FreeBSD 6.0和Linux 2.6内核上运行。
1、编译安装varnish HTTP加速器：
2、简单启动varnish守护进程，用本机80端口去反向代理加速127.0.0.1:81上的Apache服务器：
Varnish官方网站：http://www.varnish-cache.org/
另有一份PDF文档，说明Varnish原理的：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2163384
我测试了一下，在同等配置环境下，Varnish的性能确实要超过Squid，稳定性也不错，值得继续去深入研究。
Varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是Varnish cache设计架构。
Varnish可以在FreeBSD 6.0和Linux 2.6内核上运行。
1、编译安装varnish HTTP加速器：
引用
wget http://blog.zyan.cc/soft/linux/varnish/varnish-1.1.1.tar.gz
tar zxvf varnish-1.1.1.tar.gz
cd varnish-1.1.1
./configure --prefix=/usr/local/varnish
make && make install
tar zxvf varnish-1.1.1.tar.gz
cd varnish-1.1.1
./configure --prefix=/usr/local/varnish
make && make install
2、简单启动varnish守护进程，用本机80端口去反向代理加速127.0.0.1:81上的Apache服务器：
引用
/usr/local/varnish/sbin/varnishd -a :8080 -b 127.0.0.1:81 -p thread_pool_max=1500 -p thread_pools=5 -p listen_depth=512 -p client_http11=on -w 1,10000,120
Varnish官方网站：http://www.varnish-cache.org/
另有一份PDF文档，说明Varnish原理的：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2163384
我测试了一下，在同等配置环境下，Varnish的性能确实要超过Squid，稳定性也不错，值得继续去深入研究。
一本好书──《Squid中文权威手册》
[ 2007-7-31 20:10 | by 张宴 ]
2007-7-31 20:10 | by 张宴 ]
Squid是一个缓存Internet数据的高性能代理服务器软件。当一个用户想要访问一个网页或下载一个文件时，会首先向Squid发出访问请求，由Squid代替其进行网页或文件下载，Squid在把该网页或文件传给用户的同时会在本机保留一个缓存备份。当别的用户访问同样的网页时，Squid会把保存的网页备份立即传给用户，使用户觉得速度相当快，同时也降低了后端数据来源Web服务器的压力。Squid可以代理HTTP、FTP、GOPHER、SSL和WAIS协议，暂不能代理POP3、NNTP等协议。Squid可以工作在很多操作系统中，如AIX、Digital、Unix、FreeBSD、HP-UX、Irix、Linux、NetBSD、Nextstep、SCO、Solaris、OS/2等。目前Squid已经在新浪、搜狐、网易、腾讯等各大门户网站广泛使用，成为必不可少的服务器软件之一。
《Squid中文权威手册》由Squid创始人 Duane Wessels 所著的英文版《Squid: The Definitive Guide》翻译而来，其译者曾在新浪、网易工作过。
在线版：http://blog.zyan.cc/book/squid/ （便于阅读与查询）
PDF版：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=1998985 （排版规范，可下载后打印出来看）
清除指定squid缓存文件的脚本[原创]
[ 2007-7-22 23:41 | by 张宴 ]
2007-7-22 23:41 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2007.08.02 转载请注明出处：http://blog.zyan.cc]
Squid web缓存加速软件目前已经是新浪、搜狐、网易等各大网站广泛应用。Squid会在设置的缓存目录下建立多个目录，每一个目录下又建立多个目录，然后才在最里层的目录中存放缓存文件（object）。squid会根据用户请求网页的URL进行哈希，生成缓存文件，存放在某一个目录中。squid启动之后，将在内存中建立一个哈希表，记录硬盘中缓存文件配置的情形。
对于类似http://you.video.sina.com.cn/index.html之类的网页，squid只会生成一个缓存文件。可以用squid附带的squidclient工具清除：
而对于带有参数的网页，例如新浪播客的Flash播放器http://vhead.blog.sina.com.cn/player/outer_player.swf?auto=0&vid=4469852&uid=1278987704，因“?”后面的参数不同，导致URL也不同，squid会生成多个缓存文件，哈希分散存放在不同的目录。如果修改了这个outer_player.swf文件，要更新squid缓存就要去清除不同目录下及内存中的很多个缓存文件，十分麻烦，于是我编写了一个Linux下的shell脚本，去完成这件麻烦的事：
脚本文件名：clear_squid_cache.sh（8月2日修正了UC网友“城市中的寂寞”反馈的BUG）
注意：请赋予clear_squid_cache.sh可执行权限（命令：chmod +x ./clear_squid_cache.sh）。请确保脚本所在目录可写。
设置：
squidcache_path= 表示squid缓存目录的路径
squidclient_path= 表示squidclient程序所在的路径，默认为squid安装目录下的bin/squidclient
用法：
1、清除所有Flash缓存（扩展名.swf）：
./clear_squid_cache.sh swf
2、清除URL中包含sina.com.cn的所有缓存：
./clear_squid_cache.sh sina.com.cn
3、清除文件名为zhangyan.jpg的所有缓存：
./clear_squid_cache.sh zhangyan.jpg
效率：
经测试，在DELL 2950上清除26000个缓存文件用时2分钟左右。平均每秒可清除缓存文件177个。
Squid web缓存加速软件目前已经是新浪、搜狐、网易等各大网站广泛应用。Squid会在设置的缓存目录下建立多个目录，每一个目录下又建立多个目录，然后才在最里层的目录中存放缓存文件（object）。squid会根据用户请求网页的URL进行哈希，生成缓存文件，存放在某一个目录中。squid启动之后，将在内存中建立一个哈希表，记录硬盘中缓存文件配置的情形。
对于类似http://you.video.sina.com.cn/index.html之类的网页，squid只会生成一个缓存文件。可以用squid附带的squidclient工具清除：
引用
squidclient -m PURGE -p 80 "http://you.video.sina.com.cn/index.html"
而对于带有参数的网页，例如新浪播客的Flash播放器http://vhead.blog.sina.com.cn/player/outer_player.swf?auto=0&vid=4469852&uid=1278987704，因“?”后面的参数不同，导致URL也不同，squid会生成多个缓存文件，哈希分散存放在不同的目录。如果修改了这个outer_player.swf文件，要更新squid缓存就要去清除不同目录下及内存中的很多个缓存文件，十分麻烦，于是我编写了一个Linux下的shell脚本，去完成这件麻烦的事：
脚本文件名：clear_squid_cache.sh（8月2日修正了UC网友“城市中的寂寞”反馈的BUG）
引用
#!/bin/sh
squidcache_path="/data1/squid/var/cache"
squidclient_path="/usr/local/squid/bin/squidclient"
grep -a -r $1 $squidcache_path/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}' > cache_list.txt
for url in `cat cache_list.txt`; do
$squidclient_path -m PURGE -p 80 $url
done
squidcache_path="/data1/squid/var/cache"
squidclient_path="/usr/local/squid/bin/squidclient"
grep -a -r $1 $squidcache_path/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}' > cache_list.txt
for url in `cat cache_list.txt`; do
$squidclient_path -m PURGE -p 80 $url
done
注意：请赋予clear_squid_cache.sh可执行权限（命令：chmod +x ./clear_squid_cache.sh）。请确保脚本所在目录可写。
设置：
squidcache_path= 表示squid缓存目录的路径
squidclient_path= 表示squidclient程序所在的路径，默认为squid安装目录下的bin/squidclient
用法：
1、清除所有Flash缓存（扩展名.swf）：
./clear_squid_cache.sh swf
2、清除URL中包含sina.com.cn的所有缓存：
./clear_squid_cache.sh sina.com.cn
3、清除文件名为zhangyan.jpg的所有缓存：
./clear_squid_cache.sh zhangyan.jpg
效率：
经测试，在DELL 2950上清除26000个缓存文件用时2分钟左右。平均每秒可清除缓存文件177个。
