[文章作者:张宴 本文版本:v1.2 最后修改:2009.01.12 转载请注明原文链接:http://blog.zyan.cc/nginx_cache/]

  Nginx从0.7.48版本开始,支持了类似Squid的缓存功能。这个缓存是把URL及相关组合当作Key,用md5编码哈希后保存在硬盘上,所以它可以支持任意URL链接,同时也支持404/301/302这样的非200状态码。虽然目前官方的Nginx Web缓存服务只能为指定URL或状态码设置过期时间,不支持类似Squid的PURGE指令,手动清除指定缓存页面,但是,通过一个第三方的Nginx模块,可以清除指定URL的缓存。

  Nginx的Web缓存服务主要由proxy_cache相关指令集和fastcgi_cache相关指令集构成,前者用于反向代理时,对后端内容源服务器进行缓存,后者主要用于对FastCGI的动态程序进行缓存。两者的功能基本上一样。

  最新的Nginx 0.8.32版本,proxy_cache和fastcgi_cache已经比较完善,加上第三方的ngx_cache_purge模块(用于清除指定URL的缓存),已经可以完全取代Squid。我们已经在生产环境使用了 Nginx 的 proxy_cache 缓存功能超过两个月,十分稳定,速度不逊于 Squid。

  在功能上,Nginx已经具备Squid所拥有的Web缓存加速功能、清除指定URL缓存的功能。而在性能上,Nginx对多核CPU的利用,胜过Squid不少。另外,在反向代理、负载均衡、健康检查、后端服务器故障转移、Rewrite重写、易用性上,Nginx也比Squid强大得多。这使得一台Nginx可以同时作为“负载均衡服务器”与“Web缓存服务器”来使用。
  


  1、Nginx 负载均衡与缓存服务器在 Linux 下的编译安装:
ulimit -SHn 65535
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.00.tar.gz
tar zxvf pcre-8.00.tar.gz
cd pcre-8.00/
./configure
make && make install
cd ../

wget http://labs.frickle.com/files/ngx_cache_purge-1.0.tar.gz
tar zxvf ngx_cache_purge-1.0.tar.gz

wget http://nginx.org/download/nginx-0.8.32.tar.gz
tar zxvf nginx-0.8.32.tar.gz
cd nginx-0.8.32/
./configure --user=www --group=www --add-module=../ngx_cache_purge-1.0 --prefix=/usr/local/webserver/nginx --with-http_stub_status_module --with-http_ssl_module
make && make install
cd ../



  2、/usr/local/webserver/nginx/conf/nginx.conf 配置文件内容如下:
user  www www;

worker_processes 8;

error_log  /usr/local/webserver/nginx/logs/nginx_error.log  crit;

pid        /usr/local/webserver/nginx/nginx.pid;

#Specifies the value for maximum file descriptors that can be opened by this process.
worker_rlimit_nofile 65535;

events
{
  use epoll;
  worker_connections 65535;
}

http
{
  include       mime.types;
  default_type  application/octet-stream;

  charset  utf-8;
      
  server_names_hash_bucket_size 128;
  client_header_buffer_size 32k;
  large_client_header_buffers 4 32k;
  client_max_body_size 300m;
      
  sendfile on;
  tcp_nopush     on;

  keepalive_timeout 60;

  tcp_nodelay on;

  client_body_buffer_size  512k;
  proxy_connect_timeout    5;
  proxy_read_timeout       60;
  proxy_send_timeout       5;
  proxy_buffer_size        16k;
  proxy_buffers            4 64k;
  proxy_busy_buffers_size 128k;
  proxy_temp_file_write_size 128k;

  gzip on;
  gzip_min_length  1k;
  gzip_buffers     4 16k;
  gzip_http_version 1.1;
  gzip_comp_level 2;
  gzip_types       text/plain application/x-javascript text/css application/xml;
  gzip_vary on;

  #注:proxy_temp_path和proxy_cache_path指定的路径必须在同一分区
  proxy_temp_path   /data0/proxy_temp_dir;
  #设置Web缓存区名称为cache_one,内存缓存空间大小为200MB,1天没有被访问的内容自动清除,硬盘缓存空间大小为30GB。
  proxy_cache_path  /data0/proxy_cache_dir  levels=1:2   keys_zone=cache_one:200m inactive=1d max_size=30g;
  
  upstream backend_server {
    server   192.168.8.43:80 weight=1 max_fails=2 fail_timeout=30s;
    server   192.168.8.44:80 weight=1 max_fails=2 fail_timeout=30s;
    server   192.168.8.45:80 weight=1 max_fails=2 fail_timeout=30s;
  }

  server
  {
    listen       80;
    server_name  www.yourdomain.com 192.168.8.42;
    index index.html index.htm;
    root  /data0/htdocs/www;  

    location /
    {
         #如果后端的服务器返回502、504、执行超时等错误,自动将请求转发到upstream负载均衡池中的另一台服务器,实现故障转移。
         proxy_next_upstream http_502 http_504 error timeout invalid_header;
         proxy_cache cache_one;
         #对不同的HTTP状态码设置不同的缓存时间
         proxy_cache_valid  200 304 12h;
         #以域名、URI、参数组合成Web缓存的Key值,Nginx根据Key值哈希,存储缓存内容到二级缓存目录内
         proxy_cache_key $host$uri$is_args$args;
         proxy_set_header Host  $host;
         proxy_set_header X-Forwarded-For  $remote_addr;
         proxy_pass http://backend_server;
         expires      1d;
    }
    
    #用于清除缓存,假设一个URL为http://192.168.8.42/test.txt,通过访问http://192.168.8.42/purge/test.txt就可以清除该URL的缓存。
    location ~ /purge(/.*)
    {
     #设置只允许指定的IP或IP段才可以清除URL缓存。
     allow            127.0.0.1;
     allow            192.168.0.0/16;
     deny            all;
     proxy_cache_purge    cache_one   $host$1$is_args$args;
    }    

    #扩展名以.php、.jsp、.cgi结尾的动态应用程序不缓存。
    location ~ .*\.(php|jsp|cgi)?$
    {
         proxy_set_header Host  $host;
         proxy_set_header X-Forwarded-For  $remote_addr;
         proxy_pass http://backend_server;
    }

    access_log  off;
  }
}



  3、启动 Nginx:
/usr/local/webserver/nginx/sbin/nginx




  4、清除指定的URL缓存示例:

  点击在新窗口中浏览此图片





技术大类 » Cache与存储 | 评论(99) | 引用(0) | 阅读(202629)
topkey Email Homepage
2010-1-21 18:19
谢谢。学习学习
barrywong
2010-1-28 09:53
在测试中发现缓存url header没有age且缓存过期是通过inactive参数来控制的吗?
David_chen Email
2010-2-8 09:30
开始运行还好好的就就几天就慢的要命 没错误日志图片看不到 换成以前的配置文件什么问题也没 很不稳定
frog76
2010-2-11 16:43
老大,能不能出一下WINDOWS版的CONF
beck917 Email
2010-2-22 18:56
我看下来大虾的max_size解释有误吧

这个是单个文件的缓存大小...

解释为硬盘缓存空间也说不过去啊
张宴 回复于 2010-3-2 13:22
本文版本最初版本v1.1说明有误,部分网站转载的文章没有更新,v1.2已经修正为以下说明:

#设置Web缓存区名称为cache_one,内存缓存空间大小为200MB,1天没有被访问的内容自动清除,硬盘缓存空间大小为30GB。
proxy_cache_path  /data0/proxy_cache_dir  levels=1:2   keys_zone=cache_one:200m inactive=1d max_size=30g;
frog76
2010-2-24 23:17
谁能帮我搭建一个稳定的缓存服务器,用于网吧,我出100元。QQ:414089953
ylinn
2010-3-2 10:09
Hi 你好

#注:proxy_temp_path和proxy_cache_path指定的路径必须在同一分区
    
proxy_temp_path只能配置一个,如果是有多个硬盘作为缓存空间应该如何呢?
张宴 回复于 2010-3-2 13:23
目前不支持多个硬盘。如果需要更大空间请做RAID
打杂的
2010-3-2 12:49
这句的意义,请予以确认,在其他网站看到的与您说的不一致:

proxy_cache_path /path/to/cache levels=1:2 keys_zone=NAME:10m inactive=5m max_size=2m clean_time=1m;

注意这个配置是在server标签外,levels指定该缓存空间有两层hash目录,第一层目录是1个字母,第二层为2个字母,保存的文件名就会类似/path/to/cache/c/29/b7f54b2df7773722d382f4809d65029c;keys_zone为这个空间起个名字,10m指空间大小为10MB;inactive的5m指缓存默认时长5分钟;max_size的2m是指单个文件超过2m的就不缓存;clean_time指定一分钟清理一次缓存。
张宴 回复于 2010-3-2 13:19
本文版本最初版本v1.1说明有误,部分网站转载的文章没有更新,v1.2已经修正为以下说明:

#设置Web缓存区名称为cache_one,内存缓存空间大小为200MB,1天没有被访问的内容自动清除,硬盘缓存空间大小为30GB。
proxy_cache_path  /data0/proxy_cache_dir  levels=1:2   keys_zone=cache_one:200m inactive=1d max_size=30g;
打杂的
2010-3-3 16:13
多谢,再问一个关于缓存时间的问题:
proxy_cache_path inactive=1d  与 proxy_cache_valid  200 304 12h  这两个一个是 1d 一个是 12h,在实际中以那个为准?
为什么我的设置  proxy_cache_path inactive=5h    proxy_cache_valid  200 304 30d,缓存的数据在5小时左右就被清除了
frog76
2010-3-4 22:34
楼主,我能为新浪搭建一个缓存服务器吗?
quanquan
2010-3-18 16:38
如何批量清理多台缓存服务器呢
提问者
2010-3-31 15:42
张老师,为什么我配置了proxy_cache第一天还可以用,但是第二天却不能用缓存功能了,我确定期间没有做过任何其他的改动。
使用http://myip/purge/IMG_0916.JPG时返回404错误 而不是successful purge。
走过路过
2010-4-6 16:31
张兄,请问如果proxy_cache和web服务器都在同一台机器上,proxy_cahce是不是就不起作用了?
我做测试发现,必须把proxy_cache后端的页面服务器配置到 upstream backend_server {}里面,否则缓存不起作用,如果把本机ip放到upstream backend_server {}里面也同样不起作用。
请指教我的实验结果是否正确?
li_ys Email
2010-4-12 16:35
都是看着你的书上写的配置的:location ~ /purge(/.*){allow 127.0.0.1;allow 10.57.0.0/16;allow all;proxy_cache_purge cache_one $host$1$is_args$args; }清除缓存http://10.57.21.193/purge/test.htm一直是404, 从源站上看是去源站取数据了.这个不知楼主怎么处理?
走过路过
2010-4-12 17:23
楼上,应该是缓存没有命中或者是根本没有缓存。你看你的proxy_cache中是否有生成了哈希文件。
没有的话就是缓存没有命中,那么你purge肯定就会404了。
li_ys Email
2010-4-12 17:29
HTTP/1.1 200 OKServer: nginx/0.8.32Date: Mon, 12 Apr 2010 06:07:28 GMTContent-Type: text/html; charset=utf-8Connection: keep-aliveContent-Length: 146Last-Modified: Mon, 12 Apr 2010 11:45:00 GMTAccept-Ranges: bytesX-Cache: HIT-XXXXX命中了呀,也哈希有文件
wangsong Email
2010-4-23 14:29
#用于清除缓存,假设一个URL为http://192.168.8.42/test.txt,通过访问http://192.168.8.42/purge/test.txt就可以清除该URL的缓存。
    location ~ /purge(/.*)
    {
     #设置只允许指定的IP或IP段才可以清除URL缓存。
     allow            127.0.0.1;
     allow            192.168.0.0/16;
     deny            all;
     proxy_cache_purge    cache_one   $host$1$is_args$args;
    }    

疑惑!!!!!!!!!!!!!!!!!

大侠 我还是不明白这个清理缓存的工具怎么用 买了你的书看的快差不多了 用不了多久就开始在生产环境中部署了 能否把这个功能详细的说下 谢谢 大侠
邮箱也行:ws_pap@126.com
danny
2010-4-27 10:56
emerg]: "proxy_cache" directive is not allowed here in /data/software/nginx/conf/nginx.conf:102
configuration file /data/software/nginx/conf/nginx.conf test failed
出现这样的错误,不知道是什么情况,郁闷
34234 Email Homepage
2010-5-8 09:04
不错啊,哈哈
hell no Email
2010-5-14 23:28
[emerg]: getpwnam("www") failed
分页: 2/5 第一页 上页 1 2 3 4 5 下页 最后页
发表评论
表情
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
打开HTML
打开UBB
打开表情
隐藏
记住我
昵称   密码   游客无需密码
网址   电邮   [注册]