[文章作者:张宴 本文版本:v1.0 最后修改:2008.11.19 转载请注明原文链接:http://blog.zyan.cc/post/379/]
在生产应用中,某台“Nginx+PHP+MySQL”接口数据服务器,扮演的角色十分重要,如果服务器硬件或Nginx、MySQL发生故障,而短时间内无法恢复,后果将非常严重。为了避免单点故障,我设计了此套方案,编写了failover.sh脚本,实现了双机互备、全自动切换,故障转移时间只需几十秒。
一、双机互备、全自动切换方案:
1、拓扑图:
2、解释:
(1)、假设外网域名blog.zyan.cc解析到外网虚拟IP 72.249.146.214上,内网hosts设置db10对应内网虚拟IP 192.168.146.214
(2)、默认情况下,由主机绑定内、外网虚拟IP,备机作为备份,当主机的MySQL、Nginx或服务器出现故障无法访问时,备机会自动接管内、外网虚拟IP。两台服务器都启动负责监控、自动切换虚拟IP的守护进程/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &
(3)、主机和备机上的MySQL服务器互为主从,互相同步。在主机处于活动状态(即由主机绑定虚拟IP)时,读写主机的MySQL,写到主机的数据会同步到备机;在备机处于活动状态时,读写备机的MySQL,写到备机的数据会同步到主机(如果主机上的MySQL死掉暂时无法同步,主机上的MySQL恢复后,数据会自动从备机上同步过来,反之亦然)。
(4)、主机处于活动状态时,每20秒会把/data0/htdocs/(网页、程序、图片存放目录)、/usr/local/webserver/php/etc/(php.ini等配置文件目录)、/usr/local/webserver/nginx/conf/(Nginx配置文件目录)三个目录下的文件通过rsync推送到备机服务器上的对应目录(增量推送,两台服务器上一样的文件不会重复推送),反之如果备机处于活动状态时,每20秒会尝试把文件推送到主机。rsync的配置文件见两台服务器的/etc/rsyncd.conf,rsync守护进程的启动命令为rsync --daemon
3、自动切换流程
(1)、主机默认绑定内、外网虚拟IP,当主机的MySQL、Nginx无法访问或服务器宕机,主机上的failover.sh守护进程会自动摘除自己绑定的内、外网虚拟IP(如果主机上的failover.sh死掉,无法摘除自己绑定的虚拟IP也没关系),备机上的failover.sh守护进程会自动接管备机原来绑定的内、外网虚拟IP,并发送ARPing包给内、外网网关更新MAC,强行接管。
(2)、备机绑定虚拟IP后,会发送ARPing包给内、外网网关,通知网关更新虚拟IP的MAC地址为备机的MAC地址,从而保证了切换后能够通过虚拟IP及时访问到备机。
(3)、如果主机的MySQL、Nginx启动起来,全部恢复正常访问,主机上的failover.sh守护进程会检测主机上的MySQL数据是否已经完全从备机上同步过来。如果同步延迟时间为0,主机会自动接管内、外网虚拟IP,并发送ARPing包给内、外网网关,而备机也会自动摘除内、外网虚拟IP。
(4)、整个切换流程均由failover.sh自动完成,无需人工处理。
4、注意事项(很重要):
(1)、crontab里的文件没有做自动同步,如果修改,需要手工在两台服务器上都做修改。
(2)、/data0/htdocs/目录内任何用ln -s建立的软连接,rsync不会自动同步,如果在一台服务器上建了软连接,需要手工在另外一台服务器上也建相同的软连接。
(3)、如果要删除/data0/htdocs/目录内的某些文件或目录,需要先删除处于活动状态(即绑定了虚拟IP)服务器上的文件或目录,再删除处于备用状态服务器上的文件或目录。
(4)、除了/data0/htdocs/(网页、程序、图片存放目录)、/usr/local/webserver/php/etc/(php.ini等配置文件目录)、/usr/local/webserver/nginx/conf/(Nginx配置文件目录)三个目录之外的其他配置修改,需要在两台服务器上都做修改。
二、配置文档与脚本:
1、主机、备机两台服务器的rsync配置(配置相同)
(1)、rsync配置文件
输入一些内容并保存:
(2)、启动rsync守护进程
2、两台MySQL互为主从的配置
这里就不详细写出互为主从的配置过程了,如果不懂的朋友可以在Google上搜一下。有一点需要指出,my.cnf配置文件中请加上skip-name-resolve参数,使用IP来进行MySQL帐号验证。
3、主机、备机两台服务器负载监控、虚拟IP自动切换的failover.sh守护进程
(1)、启动failover.sh守护进程(为了开机能够自动运行,请将以下语句添加到/etc/rc.local文件中):
(2)、停止failover.sh守护进程:
会显示以下信息:
root 15428 1 0 Nov17 ? 00:00:03 /bin/sh /usr/local/webserver/failover/failover.sh
root 20123 6878 0 16:16 pts/2 00:00:00 grep failover.sh
然后杀死failover.sh的进程:
(3)、failover.sh代码内容(请注意其中的type设置,主机设为master,备机设为slave):
在生产应用中,某台“Nginx+PHP+MySQL”接口数据服务器,扮演的角色十分重要,如果服务器硬件或Nginx、MySQL发生故障,而短时间内无法恢复,后果将非常严重。为了避免单点故障,我设计了此套方案,编写了failover.sh脚本,实现了双机互备、全自动切换,故障转移时间只需几十秒。
一、双机互备、全自动切换方案:
1、拓扑图:
2、解释:
(1)、假设外网域名blog.zyan.cc解析到外网虚拟IP 72.249.146.214上,内网hosts设置db10对应内网虚拟IP 192.168.146.214
(2)、默认情况下,由主机绑定内、外网虚拟IP,备机作为备份,当主机的MySQL、Nginx或服务器出现故障无法访问时,备机会自动接管内、外网虚拟IP。两台服务器都启动负责监控、自动切换虚拟IP的守护进程/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &
(3)、主机和备机上的MySQL服务器互为主从,互相同步。在主机处于活动状态(即由主机绑定虚拟IP)时,读写主机的MySQL,写到主机的数据会同步到备机;在备机处于活动状态时,读写备机的MySQL,写到备机的数据会同步到主机(如果主机上的MySQL死掉暂时无法同步,主机上的MySQL恢复后,数据会自动从备机上同步过来,反之亦然)。
(4)、主机处于活动状态时,每20秒会把/data0/htdocs/(网页、程序、图片存放目录)、/usr/local/webserver/php/etc/(php.ini等配置文件目录)、/usr/local/webserver/nginx/conf/(Nginx配置文件目录)三个目录下的文件通过rsync推送到备机服务器上的对应目录(增量推送,两台服务器上一样的文件不会重复推送),反之如果备机处于活动状态时,每20秒会尝试把文件推送到主机。rsync的配置文件见两台服务器的/etc/rsyncd.conf,rsync守护进程的启动命令为rsync --daemon
3、自动切换流程
(1)、主机默认绑定内、外网虚拟IP,当主机的MySQL、Nginx无法访问或服务器宕机,主机上的failover.sh守护进程会自动摘除自己绑定的内、外网虚拟IP(如果主机上的failover.sh死掉,无法摘除自己绑定的虚拟IP也没关系),备机上的failover.sh守护进程会自动接管备机原来绑定的内、外网虚拟IP,并发送ARPing包给内、外网网关更新MAC,强行接管。
(2)、备机绑定虚拟IP后,会发送ARPing包给内、外网网关,通知网关更新虚拟IP的MAC地址为备机的MAC地址,从而保证了切换后能够通过虚拟IP及时访问到备机。
(3)、如果主机的MySQL、Nginx启动起来,全部恢复正常访问,主机上的failover.sh守护进程会检测主机上的MySQL数据是否已经完全从备机上同步过来。如果同步延迟时间为0,主机会自动接管内、外网虚拟IP,并发送ARPing包给内、外网网关,而备机也会自动摘除内、外网虚拟IP。
(4)、整个切换流程均由failover.sh自动完成,无需人工处理。
4、注意事项(很重要):
(1)、crontab里的文件没有做自动同步,如果修改,需要手工在两台服务器上都做修改。
(2)、/data0/htdocs/目录内任何用ln -s建立的软连接,rsync不会自动同步,如果在一台服务器上建了软连接,需要手工在另外一台服务器上也建相同的软连接。
(3)、如果要删除/data0/htdocs/目录内的某些文件或目录,需要先删除处于活动状态(即绑定了虚拟IP)服务器上的文件或目录,再删除处于备用状态服务器上的文件或目录。
(4)、除了/data0/htdocs/(网页、程序、图片存放目录)、/usr/local/webserver/php/etc/(php.ini等配置文件目录)、/usr/local/webserver/nginx/conf/(Nginx配置文件目录)三个目录之外的其他配置修改,需要在两台服务器上都做修改。
二、配置文档与脚本:
1、主机、备机两台服务器的rsync配置(配置相同)
(1)、rsync配置文件
vi /etc/rsyncd.conf
输入一些内容并保存:
引用
uid = root
gid = root
use chroot = no
max connections = 20
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[data0_htdocs]
path = /data0/htdocs/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
[php_etc]
path = /usr/local/webserver/php/etc/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
[nginx_conf]
path = /usr/local/webserver/nginx/conf/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
gid = root
use chroot = no
max connections = 20
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[data0_htdocs]
path = /data0/htdocs/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
[php_etc]
path = /usr/local/webserver/php/etc/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
[nginx_conf]
path = /usr/local/webserver/nginx/conf/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
(2)、启动rsync守护进程
/usr/bin/rsync --daemon
2、两台MySQL互为主从的配置
这里就不详细写出互为主从的配置过程了,如果不懂的朋友可以在Google上搜一下。有一点需要指出,my.cnf配置文件中请加上skip-name-resolve参数,使用IP来进行MySQL帐号验证。
3、主机、备机两台服务器负载监控、虚拟IP自动切换的failover.sh守护进程
(1)、启动failover.sh守护进程(为了开机能够自动运行,请将以下语句添加到/etc/rc.local文件中):
/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &
(2)、停止failover.sh守护进程:
ps -ef | grep failover.sh
会显示以下信息:
root 15428 1 0 Nov17 ? 00:00:03 /bin/sh /usr/local/webserver/failover/failover.sh
root 20123 6878 0 16:16 pts/2 00:00:00 grep failover.sh
然后杀死failover.sh的进程:
kill -9 15428
(3)、failover.sh代码内容(请注意其中的type设置,主机设为master,备机设为slave):
#!/bin/sh
LANG=C
date=$(date -d "today" +"%Y-%m-%d %H:%M:%S")
#---------------配置信息(开始)---------------
#类型:主机设为master,备机设为slave
type="master"
#主机、备机切换日志路径
logfile="/var/log/failover.log"
#MySQL可执行文件地址,例如/usr/local/mysql/bin/mysql;MySQL用户名;密码;端口
mysql_bin="/usr/local/webserver/mysql/bin/mysql"
mysql_username="root"
mysql_password="123456"
mysql_port="3306"
#内网网关
gateway_eth0="192.168.146.1"
#主机内网真实IP
rip_eth0_master="192.168.146.213"
#备机内网真实IP
rip_eth0_slave="192.168.146.215"
#主机、备机内网共用的虚拟IP
vip_eth0_share="192.168.113.214"
#外网网关
gateway_eth1="72.249.146.193"
#主机外网真实IP
rip_eth1_master="72.249.146.213"
#备机外网真实IP
rip_eth1_slave="72.249.146.215"
#主机、备机外网共用的虚拟IP
vip_eth1_share="72.249.146.214"
#---------------配置信息(结束)---------------
#绑定内、外网虚拟IP
function_bind_vip()
{
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 up
/sbin/route add -host ${vip_eth0_share} dev eth0:vip
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 up
/sbin/route add -host ${vip_eth1_share} dev eth1:vip
/usr/local/webserver/php/sbin/php-fpm reload
kill -USR1 `cat /usr/local/webserver/nginx/logs/nginx.pid`
/sbin/service crond start
}
#解除内、外网虚拟IP
function_remove_vip()
{
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 down
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 down
/sbin/service crond stop
}
#主机向备机推送文件的函数
function_rsync_master_to_slave()
{
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_slave}::data0_htdocs/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_slave}::php_etc/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_slave}::nginx_conf/ > /dev/null 2>&1
}
#备机向主机推送文件的函数
function_rsync_slave_to_master()
{
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_master}::data0_htdocs/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_master}::php_etc/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_master}::nginx_conf/ > /dev/null 2>&1
}
#虚拟IP ARPing
function_vip_arping()
{
/sbin/arping -I eth0 -c 3 -s ${vip_eth0_share} ${gateway_eth0} > /dev/null 2>&1
/sbin/arping -I eth1 -c 3 -s ${vip_eth1_share} ${gateway_eth1} > /dev/null 2>&1
}
while true
do
#用HTTP协议检查虚拟IP
if (curl -m 30 -G http://${vip_eth1_share}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" > /dev/null 2>&1)
then
#取得与内网VIP绑定的服务器内网IP
eth0_active_server=$(${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" | grep "Master_Host" | awk -F ': ' '{printf $2}')
#如果内网VIP=主机内网IP(主机MySQL中的Master_Host显示的是备机的域名或IP),且本机为主机
if [ "${eth0_active_server}" = "${rip_eth0_slave}" ] && [ "${type}" = "master" ]
then
function_rsync_master_to_slave
function_vip_arping
#如果内网VIP=备机内网IP(备机MySQL中的Master_Host显示的是主机的域名或IP)
elif [ "${eth0_active_server}" = "${rip_eth0_master}" ]
then
if (curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" | grep "Seconds_Behind_Master: 0" > /dev/null 2>&1)
then
#如果主机能够访问,数据库同步无延迟,且本机就是主机,那么由本机绑定虚拟IP
if [ "${type}" = "master" ]
then
#如果本机为主机
function_bind_vip
function_vip_arping
echo "${date} 主机已绑定虚拟IP!(Type:1)" >> ${logfile}
else
#如果本机为备机
function_remove_vip
echo "${date} 备机已去除虚拟IP!(Type:2)" >> ${logfile}
fi
else
if [ "${type}" = "slave" ]
then
#如果本机为备机
function_rsync_slave_to_master
function_vip_arping
fi
fi
fi
else
#虚拟IP无法访问时,判断主机能否访问
if (curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" > /dev/null 2>&1)
then
#如果主机能够访问,且本机就是主机,那么由本机绑定虚拟IP
if [ "${type}" = "master" ]
then
function_bind_vip
function_vip_arping
echo "${date} 主机已绑定虚拟IP!(Type:3)" >> ${logfile}
else
function_remove_vip
echo "${date} 备机已去除虚拟IP!(Type:4)" >> ${logfile}
fi
elif (curl -m 30 -G http://${rip_eth1_slave}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_slave}" -e"show slave status\G" > /dev/null 2>&1)
then
#如果主机不能访问而备机能够访问,且本机就是备机,那么由备机绑定虚拟IP
if [ "${type}" = "slave" ]
then
function_bind_vip
function_vip_arping
echo "${date} 备机已绑定虚拟IP!(Type:5)" >> ${logfile}
else
function_remove_vip
echo "${date} 主机已去除虚拟IP!(Type:6)" >> ${logfile}
fi
else
echo "${date} 主机、备机全部无法访问!(Type:7)" >> ${logfile}
fi
fi
#每次循环暂停20秒(即间隔20秒检测一次)
sleep 20
done
LANG=C
date=$(date -d "today" +"%Y-%m-%d %H:%M:%S")
#---------------配置信息(开始)---------------
#类型:主机设为master,备机设为slave
type="master"
#主机、备机切换日志路径
logfile="/var/log/failover.log"
#MySQL可执行文件地址,例如/usr/local/mysql/bin/mysql;MySQL用户名;密码;端口
mysql_bin="/usr/local/webserver/mysql/bin/mysql"
mysql_username="root"
mysql_password="123456"
mysql_port="3306"
#内网网关
gateway_eth0="192.168.146.1"
#主机内网真实IP
rip_eth0_master="192.168.146.213"
#备机内网真实IP
rip_eth0_slave="192.168.146.215"
#主机、备机内网共用的虚拟IP
vip_eth0_share="192.168.113.214"
#外网网关
gateway_eth1="72.249.146.193"
#主机外网真实IP
rip_eth1_master="72.249.146.213"
#备机外网真实IP
rip_eth1_slave="72.249.146.215"
#主机、备机外网共用的虚拟IP
vip_eth1_share="72.249.146.214"
#---------------配置信息(结束)---------------
#绑定内、外网虚拟IP
function_bind_vip()
{
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 up
/sbin/route add -host ${vip_eth0_share} dev eth0:vip
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 up
/sbin/route add -host ${vip_eth1_share} dev eth1:vip
/usr/local/webserver/php/sbin/php-fpm reload
kill -USR1 `cat /usr/local/webserver/nginx/logs/nginx.pid`
/sbin/service crond start
}
#解除内、外网虚拟IP
function_remove_vip()
{
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 down
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 down
/sbin/service crond stop
}
#主机向备机推送文件的函数
function_rsync_master_to_slave()
{
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_slave}::data0_htdocs/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_slave}::php_etc/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_slave}::nginx_conf/ > /dev/null 2>&1
}
#备机向主机推送文件的函数
function_rsync_slave_to_master()
{
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_master}::data0_htdocs/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_master}::php_etc/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_master}::nginx_conf/ > /dev/null 2>&1
}
#虚拟IP ARPing
function_vip_arping()
{
/sbin/arping -I eth0 -c 3 -s ${vip_eth0_share} ${gateway_eth0} > /dev/null 2>&1
/sbin/arping -I eth1 -c 3 -s ${vip_eth1_share} ${gateway_eth1} > /dev/null 2>&1
}
while true
do
#用HTTP协议检查虚拟IP
if (curl -m 30 -G http://${vip_eth1_share}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" > /dev/null 2>&1)
then
#取得与内网VIP绑定的服务器内网IP
eth0_active_server=$(${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" | grep "Master_Host" | awk -F ': ' '{printf $2}')
#如果内网VIP=主机内网IP(主机MySQL中的Master_Host显示的是备机的域名或IP),且本机为主机
if [ "${eth0_active_server}" = "${rip_eth0_slave}" ] && [ "${type}" = "master" ]
then
function_rsync_master_to_slave
function_vip_arping
#如果内网VIP=备机内网IP(备机MySQL中的Master_Host显示的是主机的域名或IP)
elif [ "${eth0_active_server}" = "${rip_eth0_master}" ]
then
if (curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" | grep "Seconds_Behind_Master: 0" > /dev/null 2>&1)
then
#如果主机能够访问,数据库同步无延迟,且本机就是主机,那么由本机绑定虚拟IP
if [ "${type}" = "master" ]
then
#如果本机为主机
function_bind_vip
function_vip_arping
echo "${date} 主机已绑定虚拟IP!(Type:1)" >> ${logfile}
else
#如果本机为备机
function_remove_vip
echo "${date} 备机已去除虚拟IP!(Type:2)" >> ${logfile}
fi
else
if [ "${type}" = "slave" ]
then
#如果本机为备机
function_rsync_slave_to_master
function_vip_arping
fi
fi
fi
else
#虚拟IP无法访问时,判断主机能否访问
if (curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" > /dev/null 2>&1)
then
#如果主机能够访问,且本机就是主机,那么由本机绑定虚拟IP
if [ "${type}" = "master" ]
then
function_bind_vip
function_vip_arping
echo "${date} 主机已绑定虚拟IP!(Type:3)" >> ${logfile}
else
function_remove_vip
echo "${date} 备机已去除虚拟IP!(Type:4)" >> ${logfile}
fi
elif (curl -m 30 -G http://${rip_eth1_slave}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_slave}" -e"show slave status\G" > /dev/null 2>&1)
then
#如果主机不能访问而备机能够访问,且本机就是备机,那么由备机绑定虚拟IP
if [ "${type}" = "slave" ]
then
function_bind_vip
function_vip_arping
echo "${date} 备机已绑定虚拟IP!(Type:5)" >> ${logfile}
else
function_remove_vip
echo "${date} 主机已去除虚拟IP!(Type:6)" >> ${logfile}
fi
else
echo "${date} 主机、备机全部无法访问!(Type:7)" >> ${logfile}
fi
fi
#每次循环暂停20秒(即间隔20秒检测一次)
sleep 20
done
内容:便宜点卡card.mmycw.com_殴飞数卡特卖频道_殴飞网上商城便宜...
提供手机话费充值,游戏点卡充值,公共事业缴费等,本站全部商品为欧飞官方货源,客服为欧飞官方7x24小时客服...游戏点卡充值,欧飞数卡,ofcard
相关的主题文章:
ナイキショップ Infantry knowledge program
Ein ausgezeichneter riesigen Berg, wo es einen Himmel alten Bäumen, schwankend von zehntausend Biguang und fallen unter verschiedenen Veris.
Bäume, Schwertlilien und Orchideen spucken Xia, Huang Gras duftenden, bunt, in einem riesigen Block aus Blaustein Tisch, ein großer schwarzer Hund faul Bauch, lustlos.
Dieses Mal ist es plötzlich aufrecht stehenden Ohren,nike free run 3 pink, große Augen starren Glocken sehr rund und enthüllt einen Schock der Farbe, konnte nicht glauben, dass ihre Gefühle.
"Wuff!"
Heard Hundegebell schüttelte Himmel durch das weite Land erklang, dann direkt aufgesprungen, bedeckt mit Seide wie Pelz Kind Gestüt schwarze Haare am Ende stehen.
"Kleine Kinder sind nicht der Feind der Welt kommen, auf den Krieg vorzubereiten!"
"Was, ist nicht die Welt feindlichen Invasion? Falsch, ich deutlich spürte das vertraute Luft-Maschine." Silber Blut Huang Paar stürzte alte Babel, die meisten reagieren.
"Ready, mit dem Feind!" Black King schrie.
"Tötet ah!" Himmel Ausschreitungen, unzählige Gipfel, sowie viele schwimmenden Inseln schweben in den Himmel mit riesigen Palast aus unzähligen himmlischen Tage, verschieben Zeitung aus Messing zu töten.
Ein Gott, der Insel, die kleinen Hände von Chelsea, er wird auf den Boden fallen, ihr ganzer Körper zitterte Aufregung, rollte stille Tränen aus, und dann aus dem Jade-Palast,nike free run grau, flog Himmel draußen.
"Sohn Gottes, der Sohn Gottes ...... ist wieder da!"
Eine andere Richtung, die alte Killer Qi Luo Gesicht voller unglaublicher Blick, öffnete den Mund, ein Burst Shot bloßem Auge, das andere Auge sehr hohl, Mond und Sterne in Ernüchterung.
"Back ...... zurück!" Seine Stimme zitterte, stand auf, Finger et Köpfe sind im Köcher.
"Ja, er ...... er, mein guter Bruder zurück!" Ein weiterer Höhepunkt am Lee Road Blackwater Bank sprang vom Himmel und schreit, Dabeitaixi, Zittern.
Ein Wasserfall, ein wilder ** Oberkörper, sitzt unter einem Wasserfall, gebräunte Haut blinkt metallischen Glanz, gewickelt Ton Muskeln wie ein Drache in den wilden Straßen.
Östlicher wilder brüllen, erschüttert die langen Tage, weinen zweimal, und dann lachen, Batui Schritt Wasserfall Tan, jeden Schritt des Abwischen den ganzen Tag, so dass die Berge zittern.
"Ah ......"
Keening weinen, weinen Tsunami-Tragödie, Chippen eines heiligen Prince Ishiyama, hatte er auch im Himmel, und auf die durch die Wolken, bedeckt mit Gold explodieren, sagte: "Mein lieber Bruder, Ji Sohn weg, und du, du endlich wieder lebendig und mit mir zu treffen! "
Affe ein Salto eilte, schnell auf die Spitze.
Ein weiteres Haus in einem lila Mädchen hatte eine starke Reparatur, aber diesmal haben sie stolperte, ihre nackten crystal white Yuzu, lief aus.
In ihrem Gesicht voller Tränen, Tränen glitzern konstant Abtropfen, sie barfuß lief, Mund murmelte,nike free türkis, kann nicht glauben, all dies, gibt es Hoffnung, gibt es Überraschungen, mehr Angst, Angst, dass dies ein Traum ist.
"Fan Ye ...... wirklich Sie tun?" Ji chawol ertragen konnte, crying out loud.
......
Zu viele Menschen, zu viel Bewegung, Vibration Himmel, unzählige Menschen Madhi bewegen.
Fan Ye Li in den Tagen Untersuchungshaft, die ersten, aber nichts schwarz Kaiser alternative willkommen fühlen, führte er Truppen über endlose töten.
"Supreme Schwarz
Dann fällt der Körper in einer Blutlache, das Blut Gurgeln Bay, auf der Straße eine Scharlach, markante geweckt!
"Herodes Law"
Lila Lin Tier brüllen, der Besitzer drohenden Untergang, Blut spritzte, verschieben Sie sie in der ersten Zeit, um ein Paar riesige Hufe verdienen beschreiten zu Ye-Fan.
"Puh"
Zixue tanzen, Fan Ye Schwert den Kopf pixia Stoppeln Shen menschliche Knochen, fiel ein riesiger Körper auf den Boden in Blaustein, ein Fluss aus Blut werden.
"Ah ......"
Ritter schockiert die anderen Götter, brüllend, mit einer Vielzahl von Instrumenten fallen wie ein Meteorit von außen Zala, wirksames Mittel zur Abschreckung, Licht flammenden.
Niemand hätte gedacht, dass so etwas passiert, street großen Samen stark töten, ungezügelt, Dinge, die nie gewesen sind, kann man sagen, dass Gesetzlosigkeit!
"Töte ihn, lass ihn nicht entkommen!" Mangel 13 Tage Fahrt brüllte.
Hum hören ist, Fan Ye Jian Zhen, die ganze Welt des Films in Jitter Intervention Verkehrsregeln,nike free run 3 türkis, wird er stürzte Dutzende abgeschnitten alle okkulten werden.
Die gleiche Zeit, die schwarze Eisen Schwert in seiner Hand und eine seltsame Bogen, wenn Antilope hängen Ecke spurlos, werden alle Instrumente nach unten ziehen die hohen Tage.
Boom!
Instruments verwendet zerkleinert Himmel, niemand auseinander fällt auf Dutzenden Barry, zerstört Cang Yu, Himmel und Sterne sind erschüttert.
Dies ist der Soldat Taktik, Fan Ye Wei mit den Schwert, Hunger 13 Tage schwingt die Instrumente verwendet, um alle Fehler zu reiten gegossen.
Aus aus den kleinen Tavernen auf die mutwillige Tötung, von denen alle versierter Moment, Fan Ye vergleichbar mit einem Menschen blitzschnell, kann niemand stoppen.
Wenn beruhigen, Fan Ye, die Blut Eisen Schwerter, stehend auf der Straßenseite, 13 Tage des Mangels reiten,nike free run 3 pink, stehen auf der anderen Seite, war eigentlich ein kurzes Schweigen.
Aber dann ist der Himmel laut, die Stadt gründlich kocht, und diejenigen, die noch nie gesehen haben, so kühn, schockierend.
"Ich mich nicht irre, ist er stark Straße, um Samen zu töten, Schwert einen Hack Tag Mangel dreizehn Fahrt in zwei?"
"Ein Tropfen Blut Wulst spritzte mein Gesicht, was der Ursprung dieser Person am Ende wagen Schuss, wirklich leichtsinnig. Templar neueste Kapitel."
"Lasting dreizehn Fahrt gekickt Eisen, war die Tötung von Straße, könnte es mehr demütigende Sache sein? Person Mut zu, um die Stadt für viele Jahre ohne menschliche Familie erste seiner Art zu öffnen!"
Schien ein Meteoriteneinschlag in der Stadt, Funkenbildung Aufruhr haben, könnten viele Menschen nicht glauben, dass dies zu übertrieben ist.
"Töte!"
Nur ein Moment der Ruhe, 13 Tage des Mangels an einige beliebte Fahrt zu zittern, alle Anstrengungen unternehmen, um Ye Fan, himmlisches Licht tanzen zu töten.
Diese Welt wie eine Katastrophe für diese Welt Regeln zu kochen, hier wurde ein Fegefeuer Spielen, greifen sie die rund um die Fan Ye, SG endlos und überflutet den Strip.
Wenn nicht die Stadt hat eine große Auswahl an alten Tabus, nicht sagen, dass diese Straße ist die Stadt hatte, auseinander zu fallen, in ein Raub Asche.
"Töten Sie zehntausendmal haben Nanxiao Ich hasse mein Herz pumpt deine Seele, ewig Stadt Jiu Todesstern,nike free run pink, so dass Sie leiden unter den Schmerzen des Fegefeuers!"
Jemand rief, seine Augen Staus, Fan Ye sind nicht genug, um ihrem Ärger Luft zu töten, nur um die grausamste für Fuxiu Shi Dharma Zheru Job.
Ye Lüfter mit Drehzahlregelung, wie eine schwebende Licht in der Verschiebung
Small Suzaku hesitated, immediately comforted: "Sparse sister and you do not have to, although the owner said he was soon promoted to the mouth of the ancient realm of God, but I do think he might be to coax us, you think, what It was in such a short period of time up so fast? even if he is not the world a genius, even if he is the reincarnation of the spirit world supreme, I think he could not in a mere few hundred years old helicopter realm of God! "
Sparse fairy had some sadness, and now through the small Suzaku such a reminder, suddenly lit up, quickly asked: "red, you really think Xiao Ye is coax us?"
Small Suzaku firmly nodded: "Ten of ** is this."
Sparse fairy busy asked: "But, he has no reason to be so coax us do?"
Small Suzaku snorted and said: "Sparse sister, and only you are so pure, so infatuated, you think, as the owner said, is that you do not want to follow him out of his doing, but also because he might naturally What to do outside of conscience! "
"Good conscience?"
Sparse fairy hesitated, suddenly my heart thump the next.
Suzaku in the end is only a small animal, which have so many scruples, she raised his head, made no secret of inner thoughts,Christian Louboutin red sole, just say: "Sparse sister, I thought to myself, ah, the owner will not be faithless, ah?"
Sparse fairy suddenly "ah" sound, as if surprised, small Suzaku immediately react, put their own words too far, it quickly round saying: "Sparse sister, I say, in fact, but no base" chaos, "says stretch, as the owner has no faithless, we only other black back, ask that it does not know yet? "
Sparse fairy nodded, but asked: "Will black do not tell the truth?"
Small Suzaku squinting his eyes, sly and said: "Sparse sister, you just rest assured, I have another way."
Suzaku and slanting so small fairy muttered something, it is difficult to properly black traitor, and this is something for the time being no tables.
Black was Xiao Ye mountains bring out the day after the lake, Xiao Ye did not hurry to take it to go outside, but first told it: "black, outside there is a magic" female ", in front of her face, you Do not "mess" to speak, all eyes look at me "color" act, when talk is talk, not to say you must not say. understand me? "
Black Oh the sound, but rolled his eyes, sleepy "confusion" and said: "Master, that magic" woman "is not trying to threaten me? Hey,Christian Louboutin 2013, if even you have to beat her, and then I could not even get her up, right? "
Xiao Ye shook his head and said: "She is not our enemy, you are mistaken."
Black rash to ask: "What is that she is your people do?"
Xiao Ye suppose this is not black pig brain resuscitation probably remember, Sok "sex" on it straight, said: "Black, I tell you the truth, she is my former wife, temper is not very good, but also the skill relatively high, if you "mess" to speak, be careful she will hit you. "
Black suddenly startled, hurriedly said: "Master,Christian Louboutin bridal shoes, I do not" mess "says hey, how can you marry a magic" woman "mean?"
It is a wild stare Shaw, said: "This is my thing, you do not ask."
Hysteresis for a moment, Xiao Ye and told: "Little
内容:http://donfangmeili.qzone.qq.com 杭州东方魅力官方博客http://donfangmeili.qzone.qq.com杭州东方魅力博客
公司官网:www.dongfangmeili.cn
内容:工行刷星为您提供:工行怎么刷星 工行星级标准 工行刷星技巧 工行刷星办卡
工行里的客户星级是工行按个人客户贡献星级细分为七星级客户、六星级客户、五星级客户、四星级客户、三星级客户、准星级客户共六大类。
call:一三五二七八六六一八三 企鹅:五九四八六二六一五
内容:杭州最好的夜场是www.dongfangmeli.com杭州东方魅力
杭州夜场招聘首选www.dongfangmeli.com
杭州最好的夜场是杭州东方魅力www.dongfangmeili.com.cn
杭州最好的ktv是哪儿?是杭州东方魅力www.dongfangmeili.com.cn
杭州夜场招聘首选杭州东方魅力www.dongfangmeili.cn
杭州最好的夜总会是杭州东方魅力www.dongfangmeili.com.cn
杭州东方魅力官方网站欢迎你 联系电话:13666653761 微信:dongfangmeili
内容:http://donfangmeili.qzone.qq.com 杭州东方魅力官方博客http://donfangmeili.qzone.qq.com杭州东方魅力博客
公司官网:www.dongfangmeili.cn
内容:http://donfangmeili.qzone.qq.com 杭州东方魅力官方博客http://donfangmeili.qzone.qq.com杭州东方魅力博客
公司官网:www.dongfangmeili.cn
内容:http://donfangmeili.qzone.qq.com 杭州东方魅力官方博客http://donfangmeili.qzone.qq.com杭州东方魅力博客
公司官网:www.dongfangmeili.cn
内容:杭州最好的夜场是www.dongfangmeli.com杭州东方魅力
杭州夜场招聘首选www.dongfangmeli.com
杭州最好的夜场是杭州东方魅力www.dongfangmeili.com.cn
杭州最好的ktv是哪儿?是杭州东方魅力www.dongfangmeili.com.cn
杭州夜场招聘首选杭州东方魅力www.dongfangmeili.cn
杭州最好的夜总会是杭州东方魅力www.dongfangmeili.com.cn
杭州东方魅力官方网站欢迎你 联系电话:13666653761 微信:dongfangmeili
内容:杭州东方魅力招聘模特www.dongfangmeili.cn杭州最好的夜场是杭州东方魅力www.dongfangmeili.cn
杭州最好的ktv是哪儿?是杭州东方魅力www.dongfangmeili.cn
杭州夜场招聘首选杭州东方魅力www.dongfangmeili.com.cn
杭州最好的夜总会是杭州东方魅力www.dongfangmeili.com.cn
杭州东方魅力官方网站欢迎你 联系电话:13666653761 官方微信:dongfangmeili
Falten Dukes gehört Licht lacht:. "Hohen Rang, nicht meine Sinne, aber ich falten Linie nach Land Gnade das Gericht Kalender statt Bewachung der Grenze Haunt die Landesregierung besetzt war, erholte sich Multi-Order Xu neun Yili, bis die Angelegenheit war König Seine Majestät und das Gericht, oder können wir wieder nach Hause gehen zu Hause weg, würde Ich mag ausreichend zu sein. "
Arsenal Vorgesetzten wissen, ya gehört Musik in Italien, auch abseits Heimatstadt der Landesregierung, die den Umständen nach angemessene angemessen und gerechtfertigt ist. Aber mit der heutigen off Hause Status und Prestige, das Gericht nur, wenn die Landesregierung auf den Boden, kann Ihnen versprechen, es weg zu Hause? Wenn nichts anderes, haben Sie jetzt Großherzöge Schließung bisschen extremer Minister, in der Provinz Jiangxi, auch einen XuanFuShi Botschafter, so dass Sie wieder an die Landesregierung gehen für Monate, um den Zustand kennen, will man? Auch wenn Ihnen ein JINGLUE Shi Lin Rd ist, ich fürchte, Sie müssen Ihre Mio. auf BS-ing zu schließen. Sie sagen,nike free damen 5.0, aber für die Kinder nach Hause kämpfen füllt man seine Absicht.
Herz denken so, aber sein Mund war: "The King ethischen, erhebt keinen Anspruch auf Kredit Stolz,nike free 1.0 womens, immer noch denken jī Flow Yongtui, Xiaguan wirklich bewundernswert einfach, obwohl erholen die Central Plains, aber das Land ist nach wie vor beunruhigt, Gericht, wie wenig hatte König.?"
Falten Yan Lächeln blühte gehört diese Sache, aber immer noch sagte: ". Du bist der Arsenal Gefängnis, wenn Sie wissen, gibt es immer diese Schlacht Ende des Tages"
Arsenal unmittelbaren Vorgesetzten sagte auch: "Eure Majestät, aber kaiserlichen richtigen Weg, Chin geboren wurde." Falzen-yin qualitative hörte Gelächter.
In dieser Nacht, in der verbotenen Tempel in Daqing, statt einer großen Feier Partei werden. Neben dem Kaiser und all die Beamten außerhalb, einschließlich der Overlord Zhao Huan, königlichen Clans, die ältere Väter, Feinde zu besuchen. Die Atmosphäre ist warm, großartig, festlich, schillerndste, natürlich, ist der Führer dieser Expedition Fenyang Dukes. Overlord und der Kaiser, sowohl persönlich als auch mit ihm einen Schlag. Andere Kollegen, nicht nach Nordkorea zu erwähnen, vor allem die Ministerpräsidenten, sagte Xu Liang auf Toast, dann eine andere Bedeutung. XU Liu sagte, er hoffe fach Dukes "nicht Arroganz chi, Reed militärischen Nutzen für die ganze große Industrie."
Aus dem Ton dieser Worte, sagte, ein wenig zu groß. Denn wenn über die Qualifikationen, Falzen Dukes wahrscheinlich immer noch weniger als sechs Xu hoch Geringsten. Sie Emissäre dann Xu Shao Zuoshu wollen zusammengeklappt Chung Gu ist Fushi, Sie nehmen das Team, so dass auf dem werden Xu sechs als die jüngere Generation. Dies ist jedoch verschieden von Vergangenheit, die jetzt allein mit der Demokratischen Volksrepublik Korea auf die Identität des Ministerpräsidenten sagte eine lokale XuanFuShi oder zumutbar ist.
Falten Yin Natur und daher nicht verdächtig, aber hinzugefügt Seo Sang Bedeutung von Wörtern, wenn es eine Pause Dukes Aufmerksamkeit hervorgerufen. Nicht Arroganz chi, Yi Li Militär, das Lied umsichtige hoffe, entschlossene Anstrengungen, kann nicht entspannen. "Alle großen Unternehmen", die zu unserer SINOPERSON abzuschließen.
Restaurierung der Central Plains jetzt haben, ist eine Sache der Shandong, sagte Xu sechs "der größte der Branche", was gemeint ist, das ist nicht der Punkt auf die nächste? Obwohl die Erholung der Central Plains kamen, Hedong es? Hebei es? Abgesehen Yanyun Region, zumindest,nike free xt motion fit, und vielleicht haben Sie, um es wieder zu beachten ist die volle Leistung, nicht wahr?
Sieben hundert und achtzigsten Kapitel hob ihn, was bedeutet, dass Sie? Meine Marshal, die
Song-Ventil hob ihn 780. Kapitel Was können Sie? Meine Marshal, die -
Sieben hundert und achtzigsten Kapitel hob ihn, was bedeutet, dass Sie? Meine Marshal, die
In einer Reihe von fast Karneval-Feier wie das Gericht schließlich tun einige ernsthafte Dinge. Nach dem Krieg ist die wichtigste, was? Appease hundert
内容:杭州东方魅力招聘模特www.dongfangmeili.cn杭州最好的夜场是杭州东方魅力www.dongfangmeili.cn
杭州最好的ktv是哪儿?是杭州东方魅力www.dongfangmeili.cn
杭州夜场招聘首选杭州东方魅力www.dongfangmeili.com.cn
杭州最好的夜总会是杭州东方魅力www.dongfangmeili.com.cn
杭州东方魅力官方网站欢迎你 联系电话:13666653761 官方微信:dongfangmeili
内容:杭州东方魅力招聘模特www.dongfangmeili.cn杭州最好的夜场是杭州东方魅力www.dongfangmeili.cn
杭州最好的ktv是哪儿?是杭州东方魅力www.dongfangmeili.cn
杭州夜场招聘首选杭州东方魅力www.dongfangmeili.com.cn
杭州最好的夜总会是杭州东方魅力www.dongfangmeili.com.cn
杭州东方魅力官方网站欢迎你 联系电话:13666653761 官方微信:dongfangmeili
内容:杭州东方魅力招聘模特www.dongfangmeili.cn杭州最好的夜场是杭州东方魅力www.dongfangmeili.cn
杭州最好的ktv是哪儿?是杭州东方魅力www.dongfangmeili.cn
杭州夜场招聘首选杭州东方魅力www.dongfangmeili.com.cn
杭州最好的夜总会是杭州东方魅力www.dongfangmeili.com.cn
杭州东方魅力官方网站欢迎你 联系电话:13666653761 官方微信:dongfangmeili
内容:工行刷星为您提供:工行怎么刷星 工行星级标准 工行刷星技巧 工行刷星办卡
工行里的客户星级是工行按个人客户贡献星级细分为七星级客户、六星级客户、五星级客户、四星级客户、三星级客户、准星级客户共六大类。
call:一三五二七八六六一八三 企鹅:五九四八六二六一五
内容:http://donfangmeili.qzone.qq.com 杭州东方魅力官方博客http://donfangmeili.qzone.qq.com杭州东方魅力博客
公司官网:www.dongfangmeili.cn