TIBCO EMS安装部署

创建用户

groupadd -g 800 tibco
useradd -u 801 -g tibco -d /home/tibco/ -s /bin/bash tibco

目前关于sharedatastore的方案是使用NAS。

创建准备使用的nfs目录，并赋权限

cd /

mkdir/mqdata

chown -R tibco:tibco /mqdata

安装TIBCO （TIBCO支持绿色安装，即直接从原来的机器上拷贝tibco目录从新创建配置文件即可使用。）

cd /opt/software/

TIB_ems_7.0.1_linux_x86.tar.gz

tar -zxvf TIB_ems_7.0.1_linux_x86.tar.gz

chown -R tibco:tibco *

mkdir /opt/tibco

chown -R tibco:tibco/opt/tibco

切换到tibco用户，开始安装：

su -tibco

cd /opt/software

./TIBCOUniversalInstaller-lnx-x86.bin -console

安装过程中，需要定义以下参数，其它采用默认即可。

Install Type: Typical

Environment Name: cfgmgmt

TIBCO Environment Home Directory: [/home/tibco/tibco] /opt/tibco

TIBCO Configuration Directory: [/home/tibco/CFGs] /opt

安装参数定义：

安装参数	值	备注
Environment Name	cfgmgmt	环境名称
TIBCO Environment Home Directory	/opt/tibco	介质安装目录
TIBCO Configuration Directory	/opt	配置目录(安装目录/环境名称)

ems 存放了启动文件跟config配置案例

创建logs datastore conf目录

cp /opt/tibco/ems/8.2/samples/config/* /mqdata/PMD/EmsServer/conf/（将配置文件拷贝出来，到时升级应用可以直接拷贝配置文件启动）

修改配置tibemsd.conf 文件一个为主一个为备

1． mqdata/PMD/EmsServer/conf目录下，使用tibemsd.conf文件为模板，创建文件：EmsServertibemsd.conf和EmsServerBackuptibemsd.conf，这两个文件通过启动脚本在主服务器与备服务器上使用。使用命令：

cd/mqdata/PMD/EmsServer/conf

cp -a tibemsd.conf EmsServertibemsd.conf

cp -a tibemsd.conf EmsServerBackuptibemsd.conf

2．修改EmsServertibemsd.conf文件，修改内容如下：

server = PMD-EmsServer

users = "/mqdata/PMD/EmsServer/conf/users.conf"

groups = "/mqdata/PMD/EmsServer/conf/groups.conf"

topics = "/mqdata/PMD/EmsServer/conf/topics.conf"

queues = "/mqdata/PMD/EmsServer/conf/queues.conf"

acl_list = "/mqdata/PMD/EmsServer/conf/acl.conf"

factories = "/mqdata/PMD/EmsServer/conf/factories.conf"

routes = "/mqdata/PMD/EmsServer/conf/routes.conf"

bridges = "/mqdata/PMD/EmsServer/conf/bridges.conf"

transports = "/mqdata/PMD/EmsServer/conf/transports.conf"

tibrvcm = "/mqdata/PMD/EmsServer/conf/tibrvcm.conf"

durables = "/mqdata/PMD/EmsServer/conf/durables.conf"

channels = "/mqdata/PMD/EmsServer/conf/channels.conf"

store = "/mqdata/PMD/EmsServer/datastore"

listen = tcp://192.168.50.148:7222

logfile = "/mqdata/PMD/EmsServer/logs/logfile"

ft_active = tcp://192.168.50.156:7222

3．修改EmsServerBackuptibemsd.conf文件，修改内容如下：

server = PMD-EmsServer

users = "/mqdata/PMD/EmsServer/conf/users.conf"

groups = "/mqdata/PMD/EmsServer/conf/groups.conf"

topics = "/mqdata/PMD/EmsServer/conf/topics.conf"

queues = "/mqdata/PMD/EmsServer/conf/queues.conf"

acl_list = "/mqdata/PMD/EmsServer/conf/acl.conf"

factories = "/mqdata/PMD/EmsServer/conf/factories.conf"

routes = "/mqdata/PMD/EmsServer/conf/routes.conf"

bridges = "/mqdata/PMD/EmsServer/conf/bridges.conf"

transports = "/mqdata/PMD/EmsServer/conf/transports.conf"

tibrvcm = "/mqdata/PMD/EmsServer/conf/tibrvcm.conf"

durables = "/mqdata/PMD/EmsServer/conf/durables.conf"

channels = "/mqdata/PMD/EmsServer/conf/channels.conf"

store = "/mqdata/PMD/EmsServer/datastore"

listen = tcp://192.168.50.156:7222

logfile = "/mqdata/PMD/EmsServer/logs/logfile"

ft_active = tcp://192.168.50.148:7222

4．修改/mqdata/PMD/EmsServer/conf/factories.conf文件，添加内容如下：

[FTTopicConnectionFactory]

type = topic

url = tcp://192.168.50.148:7222,tcp://192.168.50.156:7222

[FTQueueConnectionFactory]

type = queue

url = tcp://192.168.50.148:7222,tcp://192.168.50.156:7222

至此，EmsServer的Fault-Tolerant Pair创建完成。

备的配置文件

Server=EMS-SERVER-RAMU(这个值必须和主服务器的tibemsd.conf 文件中的服务器参数的值一致)
Listen=tcp://7222(这个值必须和主服务器的tibemsd.conf 文件中的Ft_active 参数的值一致)
Ft_active=tcp://7222(这个值必须和主服务器的tibemsd.conf 文件中的监听参数的值一致)
store=(这个值必须和主服务器的tibemsd.conf 文件中的存储参数store，注意主服务器的tibemsd.conf 文件中的这个值正好是datastore)

在主上 echo '/mqdata 192.168.50.0/24(rw,sync)' >/etc/exports

/etc/init.d/rpcbind restart
/etc/init.d/nfs restart

主启动

nohup ./tibemsd -forceStart -config /mqdata/PMD/EmsServer/conf/EmsServertibemsd.conf &

主上共享

/mqdata 192.168.50.0/24(rw)

从上挂载/mqdata目录最好将挂载加到rc.local中 mount -t nfs4 172.16.50.148:/mqdata /mqdata

从上启动

nohup ./tibemsd -config /mqdata/PMD/EmsServer/conf/EmsServerBackuptibemsd.conf &

1 服务器启动

1.1.1. 创建主/备服务器属性文件

在主/备服务器的目录/home/tibco/tools上同时建立：

vi shutdown.conf，输入以下内容：

info

show queues

shutdown

1.1.2. 创建主服务器启动脚本

在主服务器（192.168.50.148）上的/home/tibco/tools目录建立：

vi startEmsServer.sh，输入以下内容：

#!/bin/sh

cd /opt/tibco/ems/7.0/bin/

nohup ./tibemsd64 -config /mqdata/PMD/EmsServer/conf/EmsServertibemsd.conf&

1.1.3. 创建主服务器停止脚本

在主服务器上（192.168.50.148）的/home/tibco/tools目录建立：

vi stopEmsServer.sh，输入以下内容：

#!/bin/sh

date >> shutdown.log

/opt/tibco/ems/7.0/bin/tibemsadmin -script /home/tibco/tools/shutdown.conf-servertcp://192.168.50.148:7222-user admin -password [admin’s password]>> shutdown.log

注意以上IP地址修改为对应的IP，如果没有密码，则不需要-password参数，下同！

1.1.4. 创建备服务器启动脚本

在备服务器（192.168.50.156）上的/home/tibco/tools目录建立：

vi startEmsServer.sh，输入以下内容：

#!/bin/sh

cd /opt/tibco/ems/7.0/bin/

nohup ./tibemsd64 -config /mqdata/PMD/EmsServer/conf/EmsServerBackuptibemsd.conf&

1.1.5. 创建备服务器停止脚本

在备服务器（192.168.50.156）上的/home/tibco/tools目录建立：

vi stopEmsServer.sh，输入以下内容：

#!/bin/sh

date >> shutdown.log

/opt/tibco/ems/7.0/bin/tibemsadmin -script /home/tibco/tools/shutdown.conf-servertcp://192.168.50.156:7222-user admin -password [admin’s password]>> shutdown.log

启动脚本的执行：

sh startEmsServer.sh

停止脚本的执行：

sh stopEmsServer.sh

执行后，观察日志确认启动/停止情况

设置连接密码

通过以下几条命令，设置tibco的admin账号密码。（账户 admin 初始密码为空）这里设置为admin，请根据实际情况定义！

Password:

Connected to: tcp://192.168.50.148:7222

tcp://192.168.50.148:7222>set password admin [admin’s password]

Password of user 'admin' has been modified

tcp://192.168.50.148:7222>quit

bye

2. 日常基础配置管理

2.1. Queue建立和管理

TIBCO EMS中queue的建立可以使用API，也可以使用管理控制台建立。不管使用何种方式建立的queue，最后都将保存在queues.conf文件中。queues.conf文件为文本文件，也可以手工进行修改。由于手动修改queues.conf文件后需要重启EMS服务，而且配置信息的正确性不经过检查，所以不建议直接修改配置文件。建议使用管理控制台。如需进行批处理，通过在脚本中调用管理控制台的执行程序tibemsadmin实现。

2.2. Factory的建立和管理

TIBCO EMS中Factory的建立也同样可以使用API和后台管理控制台进行修改和建立。

但是不如修改factories.conf文件来的方便。Factories。conf文件为文本文件，也可以手工进行修改。

如下所示:

[seashellXAConnectionFactory] ---- factory的名称

type = xaqueue ----类型

url = tcp://192.168.50.148:7222,tcp://192.168.50.156:7222|tcp://192.168.50.148:7222,tcp://192.168.50.156:7222 --- 所使用EMSServer的list，如果以“，”表示是FT的Pair，以“|”,表示LoadBalance的Pair。

metric = connections ---使用connection数目进行LoadBalance的依据。

3. 监控部署

3.1. TIBCO EMS运行主机的监控

使用目前统一的主机监控方案，监控内容包括：

CPU使用率

内存使用

磁盘使用

硬盘I/O

CPU Load Average

3.2. NAS的IO监控

使用NAS提供的SNMP接口监控

3.3. TIBCO EMS主机依赖网络流量的监控

监控Tibco EMS主机与NAS直接的网络流量，避免网络带宽的影响整个NAS的I/O。

3.4. TIBCO EMS运行状态，连接数目监控

1、监控TIBCO EMS的监听进程是否正常 telnet localhost 7222 等

2、监控TIBCO EMS上连接EMS进程的网络连接数

3、监控TIBCO EMSServer上的运行日志，对于异常的日志进行分析

以上监控也可以结合TibcoRTView进行，从操作系统层面和软件层面分别进行监控，必要时使用TibcoRTView进行数据分析，进行容量的估算。

3.5. Queue的监控(使用TibcoRTView)

1、 Queue的深度监控：目前pending状态的Queue的长度，超过一定长度邮件报警，必要情况下使用Queue Clear脚本对过长的Pending队列进行清除。

2、 Queue的流量统计：统计每天主要Queue的流量，用于容量分析

4. 后续升级RoadMap

4.1. 存储

从目前的收集的各类资料显示，由于TIBCO EMS 的HA架构依赖于共享存储，而共享存储目前有多种实施方案。在这一次的实施中，我们使用的是目前生产上已有的NAS。

现在的测试过程中，并没有觉得使用NAS的Disk I/O是瓶颈。

但在后续的压力和容量不断提升的情况下，不难保证这一块会成为瓶颈，故指定以下升级RoadMap。

1、将目前混用的NAS，单独增加一个磁盘阵列用给EMS使用，避免混用造成的影响。

升级需要工作：购买新的磁盘阵列用于EMS

2、将目前EMS使用的NAS升级到SAN结构

A、改造目前使用的NAS架构，增加SAN架构

升级需要工作：重新规划NAS网络，购买光纤交换机，每台EMS服务器增加光纤卡，NetApp的存储购买支持SAN架构的模块

B、迁移目前使用的NAS共享存储到数据库使用SAN结构的共享存储。

升级需要工作：每台EMS服务器增加光纤卡，已有光纤交换机上增加接口给新增EMS服务器使用。

缺点：将与数据库使用同一个存储，可能会对数据库的使用造成影响。

以上升级方案在发现NAS 的Disk I/O在其他优化完成的情况下，仍然是瓶颈的情况下参考实施。

4.2. 服务器

EMS本身的Load Balance功能支持EMS的横向扩展。但由于实现Load Balance的机制中引入Routed Queue，而Routed Queue无法保证所有场景下事务的完整性，所以本次方案没有采用Producer端的Load Balance。对于Topic，Load Balance是没有对事务的限制的，但公司目前不采用Topic的机制。因为不采用Load Balance，未来EMS的升级采用如下几种方案：

1、升级现有的硬件设备。如目前使用的服务器(戴尔R610)还有预留空间给CPU和内存模块，可以将服务器的配置进行提升。由于两台机器上的EMS互为FT，可以在不影响客户端的情形下将Standby状态下的机器停机进行模块扩展，然后再开机，开机后重新进入Standby模式。对正在运行Active EMS实例的机器进行升级，需要首先停掉EMS实例或者直接停机，让原来Standby状态下的EMS变为Active，然后再对机器进行硬件升级。此方案的优点是配置简单，但CPU数量及内存大小的增加并不一定能对EMS的整体性能有实质意义上的提升。

2、增加FT Pair。目前的架构是使用一对Fault Tolerant的EMS实例，分别运行在不同的物理机器上。如果新的应用程序使用新的Queue，可以考虑将这些Queue建立在新的FT Pair(运行在另外两台机器)上。此方案的前提是新的Queue不被现有的应用所使用。