HAProxy服务器 、Keepalived热备 、Keepalived+LVS
配置HAProxy负载平衡集群
1.1 问题
准备三台Linux服务器，两台做Web服务器，一台安装HAProxy，实现如下功能：
- 客户端访问HAProxy，HAProxy分发请求到后端Real Server
- 要求HAProxy可以根据Cookie为客户端分配固定后端服务器
- 开启HAProxy监控页面，及时查看调度器状态
- 设置HAProxy为开机启动
1.2 方案
使用3台虚拟机，1台作为HAProxy调度器、2台作为Real Server、物理机作为客户端，拓扑结构如图-1所示。
图-1
1.3 步骤
实现此案例需要按照如下步骤进行。
步骤一：配置后端Web服务器
1）配置两台Web服务器网络参数
[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.10
[root@web1 ~]# service network restart
[root@web1 ~]# iptables -F
[root@web1 ~]# service iptables save
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.2
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.10
[root@web2 ~]# service network restart
[root@web2 ~]# iptables -F
[root@web2 ~]# service iptables save
2）设置后端Web服务
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# service httpd start
[root@web1 ~]# echo “192.168.0.1” > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# service httpd start
[root@web2 ~]# echo “192.168.0.2” > /var/www/html/index.html
步骤二：部署HAProxy服务器
1）配置网络，安装软件
[root@haproxy ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=202.114.106.20
[root@haproxy ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.254
NETMASK=255.255.255.0
DNS1=202.106.0.20
[root@haproxy ~]# service network restart
[root@haproxy ~]# sed -i '/ip_forward/s/0/1/' sysctl.conf //开启路由转发
[root@haproxy ~]# sysctl -p
[root@haproxy ~]# yum -y install pcre pcre-devel
[root@haproxy ~]# tar xvzf haproxy-1.4..tar.gz
[root@haproxy ~]# cd haproxy-1.4.
[root@haproxy haproxy-1.4.]# uname -r
[root@haproxy haproxy-1.4.]# make TARGET=linux2628 \
> USE_PCRE= PREFIX=/usr/local/haproxy install
[root@haproxy haproxy-1.4.]# ln -s /usr/local/haproxy/sbin/haproxy \
> /usr/local/sbin/
[root@haproxy haproxy-1.4.]# cp examples/haproxy.cfg /etc/haproxy/haproxy.cfg
[root@haproxy haproxy-1.4.]# cp examples/haproxy.init /etc/init.d/haproxy
[root@haproxy haproxy-1.4.]# chmod +x /etc/init.d/haproxy
2）修改配置文件
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
global //全局设置
log 127.0.0.1 local0 //日志输出配置
maxconn //最大连接数
chroot /usr/local/haproxy
uid //所属运行的用户uid
gid //所属运行的用户组
daemon //以后台形式运行
nbproc //启动2个haproxy实例
pidfile /var/run/haproxy.pid
defaults //默认设置
log global
mode http //默认采用http模式
option httplog //日志类别
retries //3次连接失败认为服务器不可用
option redispatch //当serverid对应的服务器挂掉后，
//强制定向到其他健康服务器
stats uri /haproxy-admin //设置监控,用于打开状态的url
stats hide-version //隐藏haproxy版本号
contimeout //连接超时时间
clitimeout //客户端连接超时时间
srvtimeout //服务器端连接超时时间
listen websrv-rewrite 0.0.0.0:80 //把frontend和backend结合到一起的完整声明
cookie SERVERID rewrite
balance roundrobin
server app1_1 192.168.0.1: cookie app1inst1 check inter rise fall
server app1_2 192.168.0.2: cookie app1inst2 check inter rise fall
3）启动服务器并设置开机启动
[root@haproxy ~]# haproxy -f /etc/haproxy/haproxy.cfg
[root@haproxy ~]# chkconfig --add haproxy
[root@haproxy ~]# chkconfig haproxy on
步骤三：客户端验证
客户端配置与HAProxy相同网络的IP地址，并使用火狐浏览器访问http://202.114.106.20，测试调度器是否正常工作，客户端访问http://202.114.106.20/haproxy-admin测试状态监控页面是否正常。
2 Keepalived高可用服务器
2.1 问题
准备三台Linux服务器，两台做Web服务器，并部署Keepalived高可用软件，一台作为客户端主机，实现如下功能：
- 使用Keepalived实现web服务器的高可用
- Web服务器IP地址分别为172.16.0.10和172.16.0.20
- Web服务器的漂移VIP地址为172.16.0.1
- 客户端通过访问VIP地址访问Web页面
2.2 方案
使用3台虚拟机，2台作为Web服务器，并部署Keepalived、1台作为客户端，拓扑结构如图-2所示。
图-2
2.3 步骤
实现此案例需要按照如下步骤进行。
步骤一：配置网络环境
1）设置Web服务器网络参数
[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.16.0.10
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web1 ~]# service NetworkManager stop
[root@web1 ~]# chkconfig NetworkManager off
[root@web1 ~]# service network restart
[root@web1 ~]# iptables -F;service iptables save
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.16.0.20
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web2 ~]# service NetworkManager stop
[root@web2 ~]# chkconfig NetworkManager off
[root@web2 ~]# service network restart
[root@web2 ~]# iptables -F;service iptables save
2）自定义Web页面
[root@web1 ~]# echo “172.16.0.10” > /var/www/html/index.html
[root@web2 ~]# echo “172.16.0.20” > /var/www/html/index.html
3）启动Web服务器软件
[root@web1 ~]# service httpd start
[root@web2 ~]# service httpd start
步骤二：安装Keepalived软件
注意：两台Web服务器做相同的操作。
[root@web1 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@web1 ~]# tar -xzf keepalived-1.2..tar.gz
[root@web1 ~]# cd keepalived-1.2.
[root@web1 keepalived-1.2.]# ./configure --sysconf=/etc
[root@web1 keepalived-1.2.]# make && make install
[root@web1 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@web1 keepalived-1.2.]# chkconfig keepalived on
[root@web2 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@web2 ~]# tar -xzf keepalived-1.2..tar.gz
[root@web2 ~]# cd keepalived-1.2.
[root@web2 keepalived-1.2.]# ./configure --sysconf=/etc
[root@web2 keepalived-1.2.]# make && make install
[root@web2 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@web2 keepalived-1.2.]# chkconfig keepalived on
步骤三：部署Keepalived服务
1）修改web1服务器Keepalived配置文件
[root@web1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
admin@linyouyi.com //设置报警收件人邮箱
}
notification_email_from ka@localhost //设置发件人
smtp_server 127.0.0.1 //定义邮件服务器
smtp_connect_timeout
router_id web1 //设置路由ID号
}
vrrp_instance VI_1 {
state MASTER //主服务器为MASTER
interface eth0 //定义网络接口
virtual_router_id //主辅VRID号必须一致
priority //服务器优先级
advert_int
authentication {
auth_type pass
auth_pass forlvs //主辅服务器密码必须一致
}
virtual_ipaddress { 172.16.0.1 }
}
2）修改web2服务器Keepalived配置文件
[root@web1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
admin@linyouyi.com //设置报警收件人邮箱
}
notification_email_from ka@localhost //设置发件人
smtp_server 127.0.0.1 //定义邮件服务器
smtp_connect_timeout
router_id web2 //设置路由ID号
}
vrrp_instance VI_1 {
state SLAVE //从服务器为SLAVE
interface eth0 //定义网络接口
virtual_router_id //主辅VRID号必须一致
priority //服务器优先级
advert_int
authentication {
auth_type pass
auth_pass forlvs //主辅服务器密码必须一致
}
virtual_ipaddress { 172.16.0.1 }
}
3）启动服务
[root@web1 ~]# service keepalived start
[root@web2 ~]# service keepalived start
步骤四：测试
1）登录两台Web服务器查看VIP信息
[root@web1 ~]# ip addr show
[root@web2 ~]# ip addr show
2) 客户端访问
客户端使用curl命令连接http://172.16.0.1，查看Web页面；关闭Web1服务器的网卡，客户端再次访问http://172.16.0.1，验证是否可以正常访问服务。
3 Keepalived+LVS服务器
3.1 问题
使用Keepalived为LVS调度器提供高可用功能，防止调度器单点故障，为用户提供Web服务：
- 路由器对外公网IP地址为202.114.106.20
- 路由器内网IP地址为192.168.0.254
- 路由是需要设置SNAT及DNAT功能
- LVS1调度器真实IP地址为192.168.0.10
- LVS2调度器真实IP地址为192.168.0.20
- 服务器VIP地址设置为192.168.0.253
- 真实Web服务器地址分别为192.168.0.1、192.168.0.2
- 使用加权轮询调度算法，真实服务器权重与其IP地址末尾数一致
3.2 方案
使用5台虚拟机，1台作为Linux路由器、2台作为LVS调度器、2台作为Real Server、物理机作为客户端，拓扑结构如图-2所示。
图-3
3.3 步骤
实现此案例需要按照如下步骤进行。
步骤一：配置网络环境
1）设置Web服务器网络参数
[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:
DEVICE=lo:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.253
NETMASK=255.255.255.255
[root@web1 ~]# vim /etc/sysctl.conf
.. ..
net.ipv4.conf.all.arp_ignore =
net.ipv4.conf.lo.arp_ignore =
net.ipv4.conf.lo.arp_announce =
net.ipv4.conf.all.arp_announce =
[root@web1 ~]# sysctl -p
[root@web1 ~]# service NetworkManager stop
[root@web1 ~]# chkconfig NetworkManager off
[root@web1 ~]# service network restart
[root@web1 ~]# iptables -F;service iptables save
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.2
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:
DEVICE=lo:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.253
NETMASK=255.255.255.255
[root@web2 ~]# vim /etc/sysctl.conf
.. ..
net.ipv4.conf.all.arp_ignore =
net.ipv4.conf.lo.arp_ignore =
net.ipv4.conf.lo.arp_announce =
net.ipv4.conf.all.arp_announce =
[root@web2 ~]# sysctl -p
[root@web2 ~]# service NetworkManager stop
[root@web2 ~]# chkconfig NetworkManager off
[root@web2 ~]# service network restart
[root@web2 ~]# iptables -F;service iptables save
2）自定义Web页面
[root@web1 ~]# echo “192.168.0.1” > /var/www/html/index.html
[root@web2 ~]# echo “192.168.0.2” > /var/www/html/index.html
3）启动Web服务器软件
[root@web1 ~]# service httpd start;chkconfig httpd on
[root@web2 ~]# service httpd start;chkconfig httpd on
4)设置LVS调度器网络参数
[root@lvs1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.10
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@lvs1 ~]# service NetworkManager stop
[root@lvs1 ~]# chkconfig NetworkManager off
[root@lvs1 ~]# service network restart
[root@lvs1 ~]# iptables -F;service iptables save
[root@lvs2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.20
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@lvs2 ~]# service NetworkManager stop
[root@lvs2 ~]# chkconfig NetworkManager off
[root@lvs2 ~]# service network restart
[root@lvs2 ~]# iptables -F;service iptables save
5）设置Linux路由器网络参数
[root@router ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=202.114.106.20
DNS1=202.106.0.20
[root@router ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.254
NETMASK=255.255.255.0
DNS1=202.106.0.20
[root@router ~]# service NetworkManager stop
[root@router ~]# chkconfig NetworkManager off
[root@router ~]# service network restart
[root@router ~]# iptables -F;service iptables save
6）设置Linux路由器的SNAT、DNAT功能
[root@router ~]# sed -i '/ip_forward/s/0/1/' sysctl.conf //开启路由转发
[root@router ~]# sysctl -p
[root@router ~]# iptables -t nat -A POSTROUTING -s 192.168.0.0/ -p tcp –j SNAT --to-source 202.114.106.20
[root@router ~]# iptables -t nat -A PREROUTING -d 202.114.106.20 -p tcp --dport –j DNAT --to-destination 192.168.0.253:
[root@router ~]# service iptables save
步骤二：调度器安装Keepalived与ipvsadm软件
注意：两台LVS调度器执行相同的操作。
安装软件
[root@lvs1 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@lvs1 ~]# tar -xzf keepalived-1.2..tar.gz
[root@lvs1 ~]# cd keepalived-1.2.
[root@lvs1 keepalived-1.2.]# ./configure --sysconf=/etc
[root@lvs1 keepalived-1.2.]# make && make install
[root@lvs1 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@lvs1 keepalived-1.2.]# chkconfig keepalived on
[root@lvs1 Pacages]# rpm –ihv ipvsadm-1.25-.el6.x86_64.rpm
[root@lvs2 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@lvs2 ~]# tar -xzf keepalived-1.2..tar.gz
[root@lvs2 ~]# cd keepalived-1.2.
[root@lvs2 keepalived-1.2.]# ./configure --sysconf=/etc
[root@lvs2 keepalived-1.2.]# make && make install
[root@lvs2 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@lvs2 keepalived-1.2.]# chkconfig keepalived on
[root@lvs2 Pacages]# rpm –ihv ipvsadm-1.25-.el6.x86_64.rpm
步骤三：部署Keepalived实现LVS-DR模式调度器的高可用
1）LVS1调度器设置Keepalived，并启动服务
[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
admin@linyouyi.com //设置报警收件人邮箱
}
notification_email_from ka@localhost //设置发件人
smtp_server 127.0.0.1 //定义邮件服务器
smtp_connect_timeout
router_id lvs1 //设置路由ID号
}
vrrp_instance VI_1 {
state MASTER //主服务器为MASTER
interface eth0 //定义网络接口
virtual_router_id //主辅VRID号必须一致
priority //服务器优先级
advert_int
authentication {
auth_type pass
auth_pass forlvs //主辅服务器密码必须一致
}
virtual_ipaddress { 192.168.0.253 }
}
virtual_server 192.168.0.253 { //设置VIP为192.168.0.253
delay_loop
lb_algo wrr //设置LVS调度算法为RR
lb_kind DR //设置LVS的模式为DR
persistence_timeout
protocol TCP
real_server 192.168.0.1 {
weight //设置权重为1
TCP_CHECK {
connect_timeout
nb_get_retry
delay_before_retry
}
}
real_server 192.168.0.2 {
weight //设置权重为2
TCP_CHECK {
connect_timeout
nb_get_retry
delay_before_retry
}
}
}
[root@lvs1 ~]# service keepalived start
[root@lvs1 ~]# ipvsadm -Ln
2）LVS2调度器设置Keepalived
[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
admin@linyouyi.com //设置报警收件人邮箱
}
notification_email_from ka@localhost //设置发件人
smtp_server 127.0.0.1 //定义邮件服务器
smtp_connect_timeout
router_id lvs2 //设置路由ID号
}
vrrp_instance VI_1 {
state SLAVE //从服务器为SLAVE
interface eth0 //定义网络接口
virtual_router_id //主辅VRID号必须一致
priority //服务器优先级
advert_int
authentication {
auth_type pass
auth_pass forlvs //主辅服务器密码必须一致
}
virtual_ipaddress { 192.168.0.253 }
}
virtual_server 192.168.0.253 { //设置VIP为192.168.0.253
delay_loop
lb_algo wrr //设置LVS调度算法为RR
lb_kind DR //设置LVS的模式为DR
persistence_timeout
protocol TCP
real_server 192.168.0.1 {
weight //设置权重为1
TCP_CHECK {
connect_timeout
nb_get_retry
delay_before_retry
}
}
real_server 192.168.0.2 {
weight //设置权重为2
TCP_CHECK {
connect_timeout
nb_get_retry
delay_before_retry
}
}
}
[root@lvs2 ~]# service keepalived start
[root@lvs2 ~]# ipvsadm -Ln
步骤四：客户端测试
客户端使用curl命令反复连接http://202.114.106.20，查看访问的页面是否会轮询到不同的后端真实服务器。
HAProxy服务器 、Keepalived热备 、Keepalived+LVS的更多相关文章
- 二十七. Keepalived热备 Keepalived+LVS 、 HAProxy服务器
1.Keepalived高可用服务器 proxy:192.168.4.5(客户端主机) web1:192.168.4.100(Web服务器,部署Keepalived高可用软件) web2:192.16 ...
- linux HAProxy及Keepalived热备
HAProxy 它是免费,快速且可靠的一种解决方案没,适用于那些负载特大的web站点这些站点通常又需要会话保持或七层处理提供高可用性,负载均衡及基于tcp和http应用的代理 衡量负载均衡器性能的因素 ...
- 基于主主复制的mysql双机热备+keepalived实现高可用性
- 物联网架构成长之路(9)-双机热备Keepalived了解
1. 前言 负载均衡LB,高可用HA,这一小结主要讲双机热备方案保证高可用.这里选择Keepalived作为双机热备方案,下面就对具体的配置进行了解.2. 下载Keepalived wget http ...
- keepalived 热备
概述 keepalived高可用集群 keepalived最初是为了LVS的,因为LVS无法进行自动检测服务器的节点状态(可以自动部署LVS) keeplived后来加入VRRP给功 ...
- CentOS下安装keepalived 进行服务器热备
一.准备: 1.1 安装依赖软件 如果系统为基本文本安装,需要安装一下软件 yum -y install ipvsadm yum -y install kernel kernel-devel reb ...
- mysql+keepalived 双主热备高可用
理论介绍:我们通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务.当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短.MySQL双主复制,即互 ...
- 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备
在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问. 高可用是实现了,但由于我们只设置了一个group,如果现在 ...
- Mysql+Keepalived双主热备高可用操作记录
我们通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务.当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短.MySQL双主复制,即互为Mast ...
随机推荐
- string参考
#include <iostream> #include <string.h> class string { private: char *data; public: stri ...
- spring boot 四大组件之Starter
1.概述 依赖管理是任何复杂项目的关键方面.手动完成这些操作并不理想; 你花在它上面的时间越多,你在项目的其他重要方面所花费的时间就越少. 构建Spring Boot启动器是为了解决这个问题.Star ...
- Vue学习笔记【19】——Vue中的动画（使用第三方 CSS 动画库）
导入动画类库: <link rel="stylesheet" type="text/css" href="./lib/animate.css& ...
- SpringBoot项目部署初体验【Docker】
前言 一个微服务项目,小到几个模块,大到十几二十几个模块,每个模块都是单独的SpringBoot工程,这么多模块的部署,部署成本真的很高,而且每个服务的部署,都是手动部署,打成war或者jar ?,一 ...
- C存储类
C 存储类 存储类定义 C 程序中变量/函数的范围(可见性)和生命周期.这些说明符放置在它们所修饰的类型之前.下面列出 C 程序中可用的存储类: auto register static extern ...
- 【LeetCode 6】Z 字形变换
题目链接 [题解] 还想着模拟这个过程.然后发现只有行有用啊!... 那就建个rows大小的字符串数组存每行从左到右的字符就行啦.. 然后就是i从1变到n然后又变回1反复就好了. 最后把1..rows ...
- STM32嵌入式开发学习笔记（六）：串口通信（上）
本文我们将了解STM32与外部设备通过串口通信的方式. 所谓串口通信,其实是一个类似于计算机网络的概念,它有物理层,比如规定用什么线通信,几伏特算高电平,几伏特算低电平.传输层,通信前要发RTS,CT ...
- 机器学习中python的有关使用技巧【创建虚拟环境、jupyter的kernel修改】
1.创建虚拟环境<在原来基础上建立> *注:(这里是python2.python3环境共存,我要创建一个python3的虚拟环境) 一.先安装虚拟环境变量: pip3 install -U ...
- postgresql修改自增序列
----删除前先解除 id 对该序列的依赖ALTER TABLE tablename ALTER COLUMN id SET DEFAULT null;DROP SEQUENCE IF EXISTS ...
- java中的javap命令（工作中补充的知识）
背景: 上周针对某信得压力测试demo进行场景复现,但是只提供了class文件,只能通过反编译的软件进行查看,在复现的过程中报错某某某行,这里我以xx行代替,因为是class文件,所以并不能确定具体到 ...