缓存服务器Varnish

注意：含有private、authentication、cookie等信息最好不要缓存；

management:

1)读入配置文件

2）调用合适类型的存储（有malloc内存、tmp、persisten三种存储类型）

3)创建/读入相应大小的缓存文件

4）初始化管理结构体空间

5）fork并监控child进程

child/cache:

1)将打开的存储文件映射进内存空间

2）创建并初始化空闲的结构体空间

varnish有九个状态引擎，如下图所示：

varnish配置文件介绍：

1）后端节点定义：

backend name { } ;

代理缓存：子进程定义

sub+状态引擎 { };

引擎之间都有相关性，前一个引擎通过return(x)定义退出状态，进而决定继续处理下一个引擎；

2）vcl：

vcl是基于“域”的简单编程语言；支持算术运算和逻辑运算，支持正则表达式，支持使用set、unset自定义变量或取消变量，支持if条件判断，有内置的函数和变量；

配置语法：

①注释：//单行注释，/…../多行注释

②sub $name 定义函数

③不支持循环

④支持终止语句return，没有返回值

⑤域专用

⑥操作符：=（赋值）、==（比较）、~（正则）、!(取反）、&&(和）、||（或者）

3)vcl的内置函数

  regsub(str,regexp,sub)：以regexp为模式匹配str，将匹配到的第一个替换为sub

  regsuball(str,regexp,sub):以regexp为模式匹配str，将所有匹配到的都替换为sub

  hash_date(str):做hash计算

  purge：从缓存中挑出某对象并删除

  return(x): 定义退出状态
4）内置变量： 
![clipboard.png](/img/bVTJhn)
![clipboard.png](/img/bVTJhI)
# 配置文件：
·/etc/varnish/varnish.params—配置varnish服务进程的工作特性，例如监听的地址和端口，缓存机制；
·/etc/varnish/default.vcl—配置各Child/Cache线程的缓存工作属性；

1、vcl_recv函数

用于接收和处理请求，当请求到达并成功接收后被调用，通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束：
pass：表示进入pass模式，把请求控制权交给vcl_pass函数。
pipe：表示进入pipe模式，把请求控制权交给vcl_pipe函数。

lookup: 表示进入hash,把请求控制权交给vcl_hash函数.
error code [reason]：表示返回“code”给客户端，并放弃处理该请求，“code”是错误标识，例如200、405等，“reason”是错误提示信息。
2、vcl_pipe函数
此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个链接关闭
此函数一般以如下几个关键字结束：
error code [reason]
pipe
3、vcl_pass函数
此函数在进入pass模式时被调用，用于将请求直接传递至后端主机，后端主机应答数据后送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容, 关键字结束：
error code [reason]
pass
4、lookup
表示在缓存里查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或者函数vcl_miss
5、vcl_hit函数
在执行lookup指令后，如果在缓存中找到请求的内容，将自动调用该函数
此函数一般以如下几个关键字结束：
deliver：表示将找到的内容发送给客户端，并把控制权交给函数vcl_deliver
error code [reason]
pass
6、vcl_miss函数
在执行lookup指令后，如果没有在缓存中找到请求的内容时自动调用该方法，此函数可以用于判断是否需要从后端服务器取内容
此函数一般以如下几个关键字结束：
fetch：表示从后端获取请求的内容，并把控制权交给vcl_fetch函数
error code [reason]
pass :去后端主机取数据时,额外再做一些操作
7、vcl_fetch函数
在从后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是否将内容放入缓存，还是直接返回给客户端
此函数一般以如下几个关键字结束：
error code [reason]
pass 可以不缓存
deliver 也可以缓存
8、vcl_deliver函数
在缓存中找到请求的内容后，发送给客户端前调用此方法。此函数一般以如下几个关键字结束：
error code [reason]
deliver 响应客户端请求
9、vcl_timeout 函数
此函数在缓存内容到期前调用。一般以如下几个关键字结束：
discard:从缓存中清除该内容。
fetch 也可以去后端主机取数据
10、vcl_discard函数
在缓存内容到期后或缓存空间不够时，自动调用该方法，一般以如下几个关键字结束：
keep：表示将内容继续保留在缓存中
discard:从缓存中清除该内容。

·/etc/varnish/varnish.params—配置varnish服务进程的工作特性，例如监听的地址和端口，缓存机制；
·/etc/varnish/default.vcl—配置各Child/Cache线程的缓存工作属性；

[root@varnish ~]# yum -y install varnish

[root@varnish ~]# vim /etc/sysconfig/varnish 
# Configuration file for varnish

NFILES=131072 定义可以打开的最大文件数量

MEMLOCK=82000 定义log信息使用多大的内存空间，注意varnish log信息保存在内存中
 
NPROCS="unlimited"   每个线程响应多少请求

# DAEMON_COREFILE_LIMIT="unlimited"  保持默认即可

RELOAD_VCL=1 保持默认即可

# This file contains 4 alternatives, please use only one. 有四种配置方法：

## Alternative 1, Minimal configuration, no VCL 方法一
#
# Listen on port 6081, administration on localhost:6082, and forward to
# content server on localhost:8080.  Use a fixed-size cache file.
#
#DAEMON_OPTS="-a :6081 
#             -T localhost:6082 
#             -b localhost:8080 
#             -u varnish -g varnish 
#             -s file,/var/lib/varnish/varnish_storage.bin,1G"


## Alternative 2, Configuration with VCL 方法二
#
# Listen on port 6081, administration on localhost:6082, and forward to
# one content server selected by the vcl file, based on the request.  Use a
# fixed-size cache file.
#
#DAEMON_OPTS="-a :6081 
#             -T localhost:6082 
#             -f /etc/varnish/default.vcl 
#             -u varnish -g varnish 
#             -S /etc/varnish/secret 
#             -s file,/var/lib/varnish/varnish_storage.bin,1G"


## Alternative 3, Advanced configuration  方法三
#
# See varnishd(1) for more information.
#
# # Main configuration file. You probably want to change it ?
VARNISH_VCL_CONF=/etc/varnish/test.vcl  定义主配置文件
#
# # Default address and port to bind to
# # Blank address means all IPv4 and IPv6 interfaces, otherwise specify
# # a host name, an IPv4 dotted quad, or an IPv6 address in brackets.
# VARNISH_LISTEN_ADDRESS=
VARNISH_LISTEN_PORT=80  定义监听端口，默认为6081
#
# # Telnet admin interface listen address and port
VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1    管理varnish监听地址
VARNISH_ADMIN_LISTEN_PORT=6082   管理varnish的监听端口
#
# # Shared secret file for admin interface
VARNISH_SECRET_FILE=/etc/varnish/secret varnish加密文件
#
# # The minimum number of worker threads to start
VARNISH_MIN_THREADS=50  varnish最小进程数
#
# # The Maximum number of worker threads to start
VARNISH_MAX_THREADS=1000 varnish最大进程数
#
# # Idle timeout for worker threads
VARNISH_THREAD_TIMEOUT=120 varnish工作进程超时时长
#
# # Cache file location
VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin 缓存文件存储类型，可以定义使用内存存储
#
# # Cache file size: in bytes, optionally using k / M / G / T suffix,
# # or in percentage of available disk space using the % suffix.
VARNISH_STORAGE_SIZE=1G  定义存储空间大小
#
# # Backend storage specification
VARNISH_STORAGE="file,${VARNISH_STORAGE_FILE},${VARNISH_STORAGE_SIZE}" 定义存储属性
#
# # Default TTL used when the backend does not specify one
VARNISH_TTL=120 缓存时长
#
# # DAEMON_OPTS is used by the init script.  If you add or remove options, make
# # sure you update this section, too.
DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT} 
             -f ${VARNISH_VCL_CONF} 
             -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT} 
             -t ${VARNISH_TTL} 
             -w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT} 
             -u varnish -g varnish 
             -S ${VARNISH_SECRET_FILE} 
             -s ${VARNISH_STORAGE}"
#

## Alternative 4, Do It Yourself. See varnishd(1) for more information. 方法四
#
# DAEMON_OPTS="

[root@varnish sysconfig]# cd /etc/varnish/
[root@varnish varnish]# cp default.vcl test.vcl
[root@varnish varnish]# vim test.vcl 
backend default {  定义后端主
  .host = "172.16.2.14";  后端主机地址
  .port = "80"; 后端主机监听端口
}
sub vcl_deliver {   在vcl_deliver状态引擎中定义
     if (obj.hits > 0) {    如果缓存命中次数大于0
       set resp.http.X-Cache = "HIT";  添加响应首部X-Cache；设置值为HIT;
     } else {
       set resp.http.X-Cache = "MISS";  添加响应首部X-Cache；设置值为MISS；
     }
     return (deliver); 定义返回状态
}

应用此配置：

[root@varnish ~]# /etc/init.d/varnish start
root@varnish ~]# varnishadm -S /etc/varnish/secret  -T 127.0.0.1:6082 进入varnish管理界面
200        
-----------------------------
Varnish Cache CLI 1.0
-----------------------------
Linux,2.6.32-431.el6.x86_64,x86_64,-sfile,-smalloc,-hcritbit
varnish-3.0.7 revision f544cd8

Type "help" for command list.
Type "quit" to close CLI session.

varnish> vcl.load t1 /etc/varnish/test.vcl  载入配置文件
200        
VCL compiled.
varnish> vcl.use t1  使用配置文件
200

·req.*：request，表示由客户端发来的请求报文相关；
·bereq.*：由varnish发往BE主机的httpd请求相关；
·beresp.*：由BE主机响应给varnish的响应报文相关；
·resp.*：由varnish响应给client相关；
·obj.*：存储在缓存空间中的缓存对象的属性；只读；

·bereq., req.：
bereq.http.HEADERS
bereq.request：请求方法；
bereq.url：请求的url；
bereq.proto：请求的协议版本；
bereq.backend：指明要调用的后端主机；
req.http.Cookie：客户端的请求报文中Cookie首部的值；
req.http.User-Agent ~ “chrome”
·beresp., resp.：
beresp.http.HEADERS
beresp.status：响应的状态码；
reresp.proto：协议版本；
beresp.backend.name：BE主机的主机名；
beresp.ttl：BE主机响应的内容的余下的可缓存时长；
·obj.*
obj.hits：此对象从缓存中命中的次数；
obj.ttl：对象的ttl值
·server.*
server.ip
server.hostname
·client.*

varnishadm
登录：

-S /etc/varnish/secret -T 127.0.0.1:80

配置文件相关：

vcl.list ：状态引擎列表；
vcl.load：装载，加载并编译；
vcl.use：激活；
vcl.discard：删除；
vcl.show [-v] ：查看指定的配置文件的详细信息，可看默认配置；

运行时参数：

param.show -l：显示列表；
param.show 
param.set  

缓存存储：

storage.list

后端服务器：

backend.list

示例：
vcl_recv {
    if (req.url ~ “(?i)^/(login|admin)”) {
    return(pass);
}
}

示例：
vcl_recv {
    if (req.http.User-Agent ~ “(?i)curl”) {
    return(synth(405));
}
}

示例：
if (beresp.http.cache-control !~ “s-maxage”) {
if (bereq.url ~ “(?i).(jpg|jpeg|png|gif|css|js)$”) {
    unset beresp.http.Set-Cookie;
    set beresp.ttl = 3600s;
}
}

示例：
if (req.restarts == 0) {
if (req.http.X-Fowarded-For) {
    set req.http.X-Forwarded-For = req.http.X-Forwarded-For + “,” + client.ip;
} else {
    set req.http.X-Forwarded-For = client.ip;
}
}

示例：
sub vcl_recv {
    if (req.method == “PURGE”) {
    return(purge);
}
}

示例：
acl purgers {
“127.0.0.0”/8;
“10.1.0.0”/16;
}
sub vcl_recv {
    if (req.method == “PURGE”) {
    if (!client.ip ~ purgers) {
    return(synth(405,”Purging not allowed for ” + client.ip));
}
    return(purge);
}
}

示例：
ban req.url ~ ^/javascripts
ban req.url ~ /js$

示例：
import directors; # 导入模块
backend server1 {
    .host = “172.16.42.2”;
    .port = “80”;
}
backend server2 {
    .host = “172.16.42.3”;
    .port = “80”;
}
sub vcl_init {
    new websrvs = directors.round_robin();
    websrvs.add_backend(server1);
    websrvs.add_backend(server2);
}
sub vcl_recv {
# 用哪一组server来请求
set req.backend_hint = websrvs.backend();
}

示例：
backend default {
    .host = “172.16.42.10”;
    .port = “80”;
}
backend appsrv {
    .host = “172.16.42.2”;
    .port = “80”;
}
sub vcl_recv {
if (req.url ~ “(?i).php$”) {
    set req.backend_hint = appsrv;
} else {
    set req.backend_hint = default;
}
}

.probe：定义健康状态检测方法；
.url：检测时请求的URL，默认为”/”;
.request：发出的具体请求；
.window：基于最近的多少次检查来判断其健康状态；
.threshhold：最近.window中定义的这么次检查中至有.threshhold定义的次数是成功的；
.interval：检测频度；
.timeout：超时时长；
.expected_response：期望的响应码，默认为200；
示例：
backend server1 {
    .host = “172.16.42.3”;
    .port = “80”;
    .probe = {
    .url= “/.healthcheck.html” #得先创建这个测试页面;
    .timeout= 1s;
    .interval= 2s;
    .window=5;
    .threshold=5；
    }
}

·thread_pools： 最好小于或等于CPU核心数量；
·thread_pool_max：每线程池的最大线程数；
·thread_pool_min：额外意义为“最大空闲线程数”；
·thread_pool_timeout：线程超时时间
·thread_pool_add_delay：新创建线程
·thread_pool_destroy_delay：杀死空闲线程延迟时间
设置方式：
/etc/varnish/varnish.params （永久有效）
param.set
示例：
DAEMON_OPTS=”-p thread_pools=6 -p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300″

1、varnishstat – Varnish Cache statistics

-1
-1 -f FILED_NAME
-l：可用于-f选项指定的字段名称列表；
MAIN.cache_hit
MAIN.cache_miss
示例：
varnishstat -1 -f MAIN.cache_hit -f MAIN.cache_miss
varnishstat -l -f MAIN -f MEMPOOL

2、varnishtop – Varnish log entry ranking

-1 Instead of a continously updated display, print the statistics once and exit.
-i taglist，可以同时使用多个-i选项，也可以一个选项跟上多个标签；
-I <[taglist:]regex>
-x taglist：排除列表
-X <[taglist:]regex>

3、varnishlog – Display Varnish logs
4、varnishncsa – Display Varnish logs in Apache / NCSA combined log format