varnish配置示例，概念安装篇

varnish:
www.varnish-cache.org
varnish是一款开源应用程序，高性能且开源的反向代理服务器，同时也是http加速器，采用较新的开发技术和体系结构，较为现代的硬件体系紧密结合，于传统squid相比，varnish性能更高，速度更快，管理更方便等一系列优点。目前大多大型网站已经用varnish来替换squid。 varnsh只要有两个进程，management和child/cache。
1，management主要实现应用新的配置，编译vcl，监控varnsh众多子进程，初始化varnsh，并且提供命令行commadn line进程。commadn line由多线程组成。
2，varnsh每隔几秒钟就会探测cache进程，来判断是否正常。如果cache较长时间内没有回应management探测，management将会重启相应的cache进程。一旦cache无法响应management，management将会将cache唤醒，这种唤醒一般重启cache。
cache/chuld，有多类线程
Acceptor：接收新的链接请求
worker：主要负责为每个会话启动worker线程，用于处理并响应用户请求。
Expiry：从缓存中清理过期的cache
varnsh依赖于工作区，
varnsh的配置文件是由vcl编写，由c编译器编译成varnsh能够加载的格式，由management分析并加载新的配置，配置生效由management指挥各cache/child实现。
varnsh接口：
cli interface :密码认证
telnet interface:已经被废
web interface：基于gui界面管理，but，这是收费的。
日志文件log file：
对varnsh而言，为了实现较高性能，对日志是保存在一个共享内存空间之中的。一旦这个内存空间用完，将会从头开始存储。最多保持最近最新的日志，如果希望长久保存只能将日志导出保存到其他空间。默认情况是保存在内存空间的，不但包含了谁放我的varnsh，还包括访问时命中与否，命中率多高，分析客户端请求首部，记录varnsh响应响应首部等等，通过记录日志可以了解很多varnsh的信息。
日志：Shared Memory Log
Shared可以通过文件系统进程访问的共享内存日志，因此某进程如果需要记录信息，只需持有一个锁向内存发数据即可。这种类型使得每个进程在记录日志时都使用了自己的日志缓存。
共享内存内存日志大小一般为90mb，分别两部分组成，前部分为计数器，后部分为客户端请求数据。
Varnish Configuration Language
1,vlc配置是由vcl来实现。这个配置是配置varnsh的缓存策略，并不是varnsh进程的。如果是启动varnsh自己监听端口，Ip,以及最多启动多少个工作线程等，则是在启动varnsh进程同时使用命令行参数指定的；它没有专属的配置文件。
2,基于“域'的编程语言，代码写在{}中生效，这个"域"在一定程度上讲指的是vcl的状态引擎。
varnsh工作机制：在vcl中用于让管理员定义缓存策略，而定义好的策略由management进行分析，转换成c语言代码，c编译器编译成二进制程序并连接至chache程序。
varnsh工作时有多种状态。 state engine：
vcl_recv:vcl内部有几个状态，可以理解为处理流程步骤，在这些状态所加vcl定义的策略完成缓存的处理机制，因此所有的缓存配置都是在引擎上实现的。vcl配置的缓存策略在此些state engine发挥作用；vcl也称为域专用，它写的配置必须要指明用在那些或那个状态引擎上。
当recv在处理一个http引擎的时候，需要获取这个请求中的各种信息，比如url，请求方法等。请求结束后作出第一个决策，是否查缓存，这个决策的实施在决策完成以后。而这个位置就是vcl_recv。
如果没有定义vcl_recv，系统有默认vcl_recv。系统会执行默认的vcl_recv
state engine之间有相关性，上级engine通过return指明下级engine；
vcl的配置语法：
1) //, #, /*comment*/用于注释；
(2) sub $NAME 用于定义函数；
(3) 不支持循环；
(4) 有众多内置变量；
(5) 支持终止语句，没有返回值；
(6) “域”专用语言；
(7) 操作符: =, ==, ~, !, &&, ||
state engine之间有相关性，上级engine通过return指明下级engine；
vcl_recv 终止语句
vcl_pipe 管道
vcl_pass 不要查缓存
vcl_hash 查缓存
vcl_hit 命中
vcl_miss 未命中
vcl_fetch 命中后投递
vcl_delier 命中后投递
vcl_error
查询缓存未命中工作流 查询缓存命中工作流  
安装包下载：
www.varnish-cache.org/redhat/varnish-3.0/el6/x86_64/varnsh/
varnish，varnish-docs,varnish-libs
varnish-devel开发包，可以不用下载
1,安装
三个包依赖于gcc
#yum -y install gcc
#rpm -ivh varnish-libs-3.0.6-1.el6.x86_64.rpm varnish-3.0.6-1.el6.x86_64.rpm varnish-docs-3.0.6-1.el6.x86_64.rpm
PS：
#rpm -ql varnish
用于实现从varnish共享内存中去读取日志，并持久保存在文件中的一种脚本
/etc/rc.d/init.d/varnishlog
/etc/rc.d/init.d/varnishncsa
配置缓存策略文件
/etc/varnish/default.vcl
命令行工具
/usr/bin/varnish_reload_vcl是为/etc/rc.d/init.d/varnish脚本配置以实现启动varnishd的时候传递命令行参数，来决定varnish工作特性
/usr/bin/varnishadm
/usr/bin/varnishhist
/usr/bin/varnishlog
/usr/bin/varnishncsa
/usr/bin/varnishreplay
/usr/bin/varnishsizes
/usr/bin/varnishstat
/usr/bin/varnishtest
/usr/bin/varnishtop
/usr/sbin/varnishd 主程序
状态数据
/var/lib/varnish
/var/log/varnish
#export LANG=en
#man varnishd
-a 监听端口，默认监听6081
-b 指明后端主机
-c 显示vcl编辑代码转换c语言
-d 打开bug模式
-f 指明配置文件
-h 指明hash算法
-l 指明共享内存日志大小
-P pid文件
-p 众多参数
-s 指定存储客户端
|||||||| -s ||||||||
Hash Algorithms
varnish支持后端缓存存储机制：
-s type
malloc[,size]
file[,path[,size[,granularity]]]，文件类型，大小，力度
persistent,path,size，
persistent：即便使用file，一旦缓存重启，所有缓存对象统统清空，而persistent不会被清楚。不过persistent在生成环境表现不太友好。
如果一旦缓存服务器重启，缓存将被清空，需要重新建立缓存；对于缓存而言，预热（将热点数据缓存）缓存，可能需要几分钟。缓存服务器一旦预热完毕，不宜随意上下线更换缓存服务器；一旦缓存崩溃，可能会造成雪崩。
-T 提供一个管理接口。默认6082 脚本文件详解 #vim /etc/sysconfig/varnish NFILES=131072 打开文件最大数 MEMLOCK=82000 锁定内存空间 NPROCS="unlimited" 最多单个用户运行的进程树 # Maximum size of corefile (for ulimit -c). Default in Fedora is 0
# DAEMON_COREFILE_LIMIT="unlimited"
# Set this to 1 to make init script reload try to switch vcl without restart.
# To make this work, you need to set the following variables
# explicit: VARNISH_VCL_CONF, VARNISH_ADMIN_LISTEN_ADDRESS,
# VARNISH_ADMIN_LISTEN_PORT, VARNISH_SECRET_FILE, or in short,
# use Alternative 3, Advanced configuration, below RELOAD_VCL=1 会不会自己自动装载缓存策略配置文件 # This file contains 4 alternatives, please use only one.
## Alternative 1, Minimal configuration, no VCL
#
# Listen on port 6081, administration on localhost:6082, and forward to
# content server on localhost:8080. Use a fixed-size cache file.
#
#DAEMON_OPTS="-a :6081
# -T localhost:6082
# -b localhost:8080
# -u varnish -g varnish
# -s file,/var/lib/varnish/varnish_storage.bin,1G"
## Alternative 2, Configuration with VCL
#
# Listen on port 6081, administration on localhost:6082, and forward to
# one content server selected by the vcl file, based on the request. Use a
# fixed-size cache file.
#
#DAEMON_OPTS="-a :6081
# -T localhost:6082
# -f /etc/varnish/default.vcl
# -S /etc/varnish/secret
# -s file,/var/lib/varnish/varnish_storage.bin,1G" VARNISH_VCL_CONF=/etc/varnish/default.vcl 默认读取缓存策略配置文件 VARNISH_LISTEN_PORT=80 默认监听端口
# VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1 指的是cli interface接口 VARNISH_ADMIN_LISTEN_PORT=6082 # VARNISH_SECRET_FILE=/etc/varnish/secret 装载密钥文件 # VARNISH_MIN_THREADS=50 VARNISH启动最少空闲线程 VARNISH_MAX_THREADS=1000 VARNISH最多启动多少线程 # VARNISH_THREAD_TIMEOUT=120 线程超时时间 # VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin 缓存数据路径 # VARNISH_STORAGE_SIZE=1G 缓存大小 #
【】VARNISH_STORAGE_SHM=64M 缓存一般不应该太大，缓存大小取决于硬盘的I/O能力 VARNISH_STORAGE="file,${VARNISH_STORAGE_FILE},${VARNISH_STORAGE_SIZE}" 存储类型 #
【】VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SHM}" 使用内存缓存 VARNISH_TTL=120 #
# # DAEMON_OPTS is used by the init script. If you add or remove options, make
# # sure you update this section, too.
DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT} 定义
-f ${VARNISH_VCL_CONF}
-T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT}
-t ${VARNISH_TTL}
-w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT}
-u varnish -g varnish
-S ${VARNISH_SECRET_FILE}
-s ${VARNISH_STORAGE}"
#
## Alternative 4, Do It Yourself. See varnishd(1) for more information.
#
# DAEMON_OPTS="" 2，启动 2.1编辑脚本文件
#vim /etc/sysconfig/varnish VARNISH_STORAGE_SHM=64M 缓存一般不应该太大，缓存大小取决于硬盘的I/O能力 VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SHM}" 使用内存缓存 VARNISH_LISTEN_PORT=80 修改默认监听端口为80 #service varnish start
# ss -tnlp |grep :6082
LISTEN 0 10 127.0.0.1:6082 *:* users:(("varnishd",1830,6))
# ss -tnlp |grep :80
LISTEN 0 128 :::80 :::* users:(("varnishd",1832,8))
LISTEN 0 128 *:80 *:* users:(("varnishd",1832,7))
#
3，配置node2后端主机node2
#yum -y install http
#vim /var/www/html/index.html
node2
4,编辑node0
# vim /etc/varnish/default.vcl
backend default {
.host = "172.16.249.69"; 修改为后端主机ip
.port = "80";
在通过浏览器访问完全可以访问到node2的。
  二：通过varnishadm管理 1，链接varnishadm
# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 200
-----------------------------
Varnish Cache CLI 1.0
-----------------------------
Linux,2.6.32-504.el6.x86_64,x86_64,-smalloc,-smalloc,-hcritbit
varnish-3.0.6 revision 1899836
Type 'help' for command list.
Type 'quit' to close CLI session.
varnish>help 200
help [command]
ping [timestamp]
auth response 做认证的
quit 退出
banner banner信息显示
status 状态信息显示
start 启动子进程
stop 停止子进程
vcl.load 装载
vcl.inline 使用
vcl.use 使用
vcl.discard 删除
vcl.list 显示
vcl.show 显示vcl内部信息 vcl.show boot
param.show [-l] []
param.set
panic.show
panic.clear
storage.list
backend.list
backend.set_health matcher state
ban.url
ban [&& ]...
演示： 打开node3主机，配置node0从node2切换至node3 node3已经配置好http
配置后端node0
1，node1打开
# vim /etc/varnish/default.vcl backend default { .host = "172.16.249.99"; .port = "80"; } 这里改了之后是不会立即生效的 2，
# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 varnish> vcl.list 200
active 2 boot
varnish>vcl.load test1 default.vcl 装载一个命令为test1，文件为default.vcl 200
VCL compiled.
varnish>vcl.list test1已经装载编译完毕 200
active 2 boot
available 0 test1
varnish> vcl.use test1 配置使用test1 200
varnish> vcl.list 在查看，已经激活 200
available 2 boot active 0 test1 varnish> vcl.show test1 show test1，host的ip地址已经启用 200
# This is a basic VCL configuration file for varnish. See the vcl(7)
# man page for details on VCL syntax and semantics.
#
# Default backend definition. Set this to point to your content
# server.
#
backend default {
.host = "172.16.249.99";这里已经启用
.port = "80";
}
 
 
指明缓存命中机制，添加响应首部。
1，还是在node0上配置配置文件
# vim /etc/varnish/default.vcl
找到sub vcl_deliver修改
sub vcl_deliver { if (obj.hits>0){ set resp.http.X-Cache = "HIT"; } else { set resp.http.X-Cache = "MISS"; } return (deliver); } 2，
varnish> vcl.load test2 default.vcl varnish> vcl.use test2 varnish> vcl.list 在打开浏览器查看