一个发送HTML邮件的PHP函数[原创]
Nginx 0.5.33 + PHP 5.2.5（FastCGI）搭建胜过Apache 10倍的Web服务器（第2版）[原创]
2007-11-29 22:11 | by
[文章作者：张宴 本文版本：v1.2 最后修改：2008.01.02 转载请注明出处：http://blog.zyan.cc]
我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》，但当时仅仅是用着玩，没做深入研究。
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。
在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。
下面来安装Varnish网站缓存加速器（Linux系统）：
1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：
2、创建Varnish日志目录（/var/logs/）：
3、编译安装varnish：
4、创建Varnish配置文件：
输入以下内容：
这里，我对这段配置文件解释一下：
(1)、Varnish通过反向代理请求后端IP为192.168.0.5，端口为80的web服务器；
(2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存；
(3)、Varnish对域名为blog.zyan.cc的请求进行处理，非blog.zyan.cc域名的请求则返回“Zhang Yan Cache Server”；
(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存，对POST请求透过，让其直接访问后端Web服务器。之所以这样配置，是因为POST请求一般是发送数据给服务器的，需要服务器接收、处理，所以不缓存；
(5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时，对其他的URL缓存时间设置为30天。
5、启动Varnish
6、启动varnishncsa用来将Varnish访问日志写入日志文件：
7、配置开机自动启动Varnish
在末尾增加以下内容：
8、优化Linux内核参数
在末尾增加以下内容：
再看看如何管理Varnish：
1、查看Varnish服务器连接数与命中率：
2、通过Varnish管理端口进行管理：
用help看看可以使用哪些Varnish命令：
3、通过Varnish管理端口，使用正则表达式批量清除缓存：
(1)、例：清除类似http://blog.zyan.cc/a/zhangyan.html的URL地址）：
(2)、例：清除类似http://blog.zyan.cc/tech的URL地址：
(3)、例：清除所有缓存：
4、一个清除Squid缓存的PHP函数（清除Varnish缓存同样可以使用该函数，无需作任何修改，十分方便）：
附1：Varnish官方网站：http://www.varnish-cache.org/
附2：2007年12月10日，我写了一个每天0点运行，按天切割Varnish日志，生成一个压缩文件，同时删除上个月旧日志的脚本（/var/logs/cutlog.sh）：
/var/logs/cutlog.sh文件内容如下：
设置在每天00:00定时执行：
我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》，但当时仅仅是用着玩，没做深入研究。
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。
在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。
下面来安装Varnish网站缓存加速器（Linux系统）：
1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：
/usr/sbin/groupadd www -g 48
/usr/sbin/useradd -u 48 -g www www
mkdir -p /var/vcache
chmod +w /var/vcache
chown -R www:www /var/vcache
/usr/sbin/useradd -u 48 -g www www
mkdir -p /var/vcache
chmod +w /var/vcache
chown -R www:www /var/vcache
2、创建Varnish日志目录（/var/logs/）：
mkdir -p /var/logs
chmod +w /var/logs
chown -R www:www /var/logs
chmod +w /var/logs
chown -R www:www /var/logs
3、编译安装varnish：
wget http://blog.zyan.cc/soft/linux/varnish/varnish-1.1.2.tar.gz
tar zxvf varnish-1.1.2.tar.gz
cd varnish-1.1.2
./configure --prefix=/usr/local/varnish
make && make install
tar zxvf varnish-1.1.2.tar.gz
cd varnish-1.1.2
./configure --prefix=/usr/local/varnish
make && make install
4、创建Varnish配置文件：
vi /usr/local/varnish/vcl.conf
输入以下内容：
引用
backend myblogserver {
set backend.host = "192.168.0.5";
set backend.port = "80";
}
acl purge {
"localhost";
"127.0.0.1";
"192.168.1.0"/24;
}
sub vcl_recv {
if (req.request == "PURGE") {
if (!client.ip ~ purge) {
error 405 "Not allowed.";
}
lookup;
}
if (req.http.host ~ "^blog.zyan.cc") {
set req.backend = myblogserver;
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}
else {
lookup;
}
}
else {
error 404 "Zhang Yan Cache Server";
lookup;
}
}
sub vcl_hit {
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
}
sub vcl_miss {
if (req.request == "PURGE") {
error 404 "Not in cache.";
}
}
sub vcl_fetch {
if (req.request == "GET" && req.url ~ "\.(txt|js)$") {
set obj.ttl = 3600s;
}
else {
set obj.ttl = 30d;
}
}
set backend.host = "192.168.0.5";
set backend.port = "80";
}
acl purge {
"localhost";
"127.0.0.1";
"192.168.1.0"/24;
}
sub vcl_recv {
if (req.request == "PURGE") {
if (!client.ip ~ purge) {
error 405 "Not allowed.";
}
lookup;
}
if (req.http.host ~ "^blog.zyan.cc") {
set req.backend = myblogserver;
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}
else {
lookup;
}
}
else {
error 404 "Zhang Yan Cache Server";
lookup;
}
}
sub vcl_hit {
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
}
sub vcl_miss {
if (req.request == "PURGE") {
error 404 "Not in cache.";
}
}
sub vcl_fetch {
if (req.request == "GET" && req.url ~ "\.(txt|js)$") {
set obj.ttl = 3600s;
}
else {
set obj.ttl = 30d;
}
}
这里，我对这段配置文件解释一下：
(1)、Varnish通过反向代理请求后端IP为192.168.0.5，端口为80的web服务器；
(2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存；
(3)、Varnish对域名为blog.zyan.cc的请求进行处理，非blog.zyan.cc域名的请求则返回“Zhang Yan Cache Server”；
(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存，对POST请求透过，让其直接访问后端Web服务器。之所以这样配置，是因为POST请求一般是发送数据给服务器的，需要服务器接收、处理，所以不缓存；
(5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时，对其他的URL缓存时间设置为30天。
5、启动Varnish
ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
6、启动varnishncsa用来将Varnish访问日志写入日志文件：
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/varnish.log &
7、配置开机自动启动Varnish
vi /etc/rc.local
在末尾增加以下内容：
引用
ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
8、优化Linux内核参数
vi /etc/sysctl.conf
在末尾增加以下内容：
引用
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000
再看看如何管理Varnish：
1、查看Varnish服务器连接数与命中率：
/usr/local/varnish/bin/varnishstat
2、通过Varnish管理端口进行管理：
用help看看可以使用哪些Varnish命令：
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 help
引用
Available commands:
ping [timestamp]
status
start
stop
stats
vcl.load
vcl.inline
vcl.use
vcl.discard
vcl.list
vcl.show
param.show [-l] []
param.set
help [command]
url.purge
dump.pool
ping [timestamp]
status
start
stop
stats
vcl.load
vcl.inline
vcl.use
vcl.discard
vcl.list
vcl.show
param.show [-l] []
param.set
help [command]
url.purge
dump.pool
3、通过Varnish管理端口，使用正则表达式批量清除缓存：
(1)、例：清除类似http://blog.zyan.cc/a/zhangyan.html的URL地址）：
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge /a/
(2)、例：清除类似http://blog.zyan.cc/tech的URL地址：
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge w*$
(3)、例：清除所有缓存：
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$
4、一个清除Squid缓存的PHP函数（清除Varnish缓存同样可以使用该函数，无需作任何修改，十分方便）：
附1：Varnish官方网站：http://www.varnish-cache.org/
附2：2007年12月10日，我写了一个每天0点运行，按天切割Varnish日志，生成一个压缩文件，同时删除上个月旧日志的脚本（/var/logs/cutlog.sh）：
/var/logs/cutlog.sh文件内容如下：
引用
#!/bin/sh
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /var/logs/youvideo.log /var/logs/${date}.log
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
mkdir -p /var/logs/youvideo/
gzip -c /var/logs/${date}.log > /var/logs/youvideo/${date}.log.gz
rm -f /var/logs/${date}.log
rm -f /var/logs/youvideo/$(date -d "-1 month" +"%Y-%m*").log.gz
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /var/logs/youvideo.log /var/logs/${date}.log
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
mkdir -p /var/logs/youvideo/
gzip -c /var/logs/${date}.log > /var/logs/youvideo/${date}.log.gz
rm -f /var/logs/${date}.log
rm -f /var/logs/youvideo/$(date -d "-1 month" +"%Y-%m*").log.gz
设置在每天00:00定时执行：
/usr/bin/crontab -e
或者 vi /var/spool/cron/root
输入以下内容：引用
0 0 * * * /bin/sh /var/logs/cutlog.sh
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
}
这段不是很理解
每次获取到以后就把生存期设置成0?
那么不是每次请求都是分发去backend了?
没有起到cache的作用了?
通过浏览器访问一个URL地址，发送的HTTP请求头是：
GET http://www.abc.com/test.php
当遇到GET或HEAD方法，Varnish会从缓存中返回网页：
当从浏览器提交表单时（请求头中的方法为POST），需要透过Varnish将信息传递给后端Web服务器上的PHP程序处理，下面这几行表示如果请求头中的方法不是GET和HEAD，则透过Varnish访问后端Web服务器：
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}
当遇到PURGE方法时，Varnishd会set obj.ttl = 0s;使某个URL的缓存失效，从而达到刷新Varnish缓存的目的。Varnish配置了只接收并处理以下IP发送PURGE请求：
acl purge {
"localhost";
"127.0.0.1";
"192.168.1.0"/24;
}
倒是man里面非常详细.
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}
elseif(req.url ~ "\.(php|cgi)($|\?)") {
pass;
}
else {
lookup;
}
也还是没解决。PHP是没被缓存，但还是无法登陆后台。
我测试了下，当varnish创建了100多个worker后
varnishlog -i debug出现大量的 Create worker thread failed 12 Cannot allocate memory错误，还没发现该如何解决，我的环境是dell2950 4g mem/rhel4u4
然后squid用acl给purge的权限。
请教你个问题
我采用单机做下载服务器,本机varnish运行在80端口,nginx在81
下载的文件夹中的exe文件很快,但是下载其它的文件,比如:zip\dat\等文件就很慢,时常报
503 Service Temporarily Unavailable
还有就是dat文件我是要下载,但在IE中打开绝对路径.却是把文件中的内容给解释出来了,
请帮帮我,应该如何配置!
谢谢
这个故障在我这里是反复出现。
但是，有写命令却用不了。比如/usr/local/varnish/bin/varnishstat，好像是没有编译好。不知道为什么
另外，vcl.conf控制访问的时候不支持非运算么？
我想实现除了所有的静态文件都转发到后台的web服务器，但是好像失败了
if (req.http.host ~ ".test.com") {
set req.backend = webserver;
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}
elseif(req.url !~ "\.(jpg|jpeg|gif|png|ico|css|zip|tgz|gz|rar|bz2|doc|xls|exe|pdf|ppt|txt|tar|mid|midi|wav|bmp|rtf|js|htm|html)($|\?)") {
pass;
}
else {
lookup;
}
}
说明varnish没有起作用,查看下配置文件
前端是一个LVS，后端是apache+tomcat，假设域名www.dayan.com指向LVS的59.141.45.67这个IP
例如:
TCP 59.141.45.67:80 wlc persistent 900
-> 192.168.1.116:80
-> 192.168.1.113:80
后端的192.168.1.116和192.168.1.113是用的apache+tomcat，准备加varnish cache
现在已经是把动态和静态分开了，现在就是想把静态的做varnish cache
不知道这样的架构varnish cache 加在什么地方，是LVS上，还是其他的机器上
比如说我的域名是www.dayan.com指向的是LVS的IP，当我访问www.yan.com的时候它首先访问LVS，
然后通过LVS分到两台realserver，那cache是怎么样调用的呢，这块有点迷惑
请张宴老师指点指点!!!!