【otter搭建】在Linux下搭建阿里开源otter数据同步平台

一，准备安装包和配置文件

JDK：https://www.oracle.com/technetwork/java/javase/downloads/index.html

Zookeeper：https://archive.apache.org/dist/zookeeper/

MYSQL：

链接：https://pan.baidu.com/s/1rfkhdWehAQGpzt_cH0zS1w
提取码：isw0

manager和node： https://github.com/alibaba/otter/releases

配置文件：otter.sql

链接：https://pan.baidu.com/s/1dFeL78AgT9nMT9kEuThilw
提取码：fuuy

二，安装，配置，启动

1,jdk:

解压在/usr/local/

配置环境变量：

vi /etc/profile，在最后添加以下4行(如果已经添加了酌情是否修改)

JAVA_HOME=/usr/local/jdk1.8.0_181
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=$CLASSPATH

运行该命令source /etc/profile

调试：

java -version

javac -version

2,安装zk(单一ZK，且省略了配置)

解压:

运行

3,安装mysql

先安装一个依赖文件，解决libnuma.so.1()(64bit) 等文件缺失的问题

yum -y install numactl

解压，

运行sh脚本自动安装：

配置文件可以自行修改my.cnf

然后运行install-mysql-test.sh就可以了

仅适用于首次安装，覆盖安装时会有大量报错，到时候需要根据报错提示信息，分析并逐一解决

可能的报错问题解决：

1，自动修改密码失败：不用管他，直接去mysql的日志中查看初始化的密码

2，其他问题。不用管，直接看Mysql服务器启动没有：

ps -ef | grep mysql。没有启动再分析，具体情况太多，主要有几点：

1，mysql的数据文件不是Mysql用户的。需要chown -R mysql:mysql [data目录]

2，访问的文件没有权限进行修改：chmod 755 [对应文件]

3，其他原因：可以自己百度原因，原因很多啊，参考：https://blog.csdn.net/u010448530/article/details/80456468

调试：

mysql装好后会有很多初始化的问题

1，初始化密码查看

先查看/etc/my.cnf配置文件中的日志地址，发现是/var/log/mysqld.log

然后进入该log,找到图中的这行（如果脚本修改密码失败）

根据图中的密码连接到Mysql，然后重置密码

1，重置密码,

alter user user() identified by "OTTER#515";

修改密码策略：

show variables like 'validate_password%';
set global validate_password_policy=0;
set global validate_password_length=1;
set global validate_password_policy=LOW;

2，需要建立权限，让其他域名的用户能够访问Mysql

新建用户访问：

grant all on *.* to admin@'%' identified by 'OTTER#515' with grant option;
flush privileges;

root用户访问(偷懒就只执行这一条就够了)：

grant all privileges on *.* to 'root'@'%' identified by 'OTTER#515' with grant option;
flush privileges;

3，SQL_MODE 运行模式

show variables like 'sql_mode';
set session
>sql_mode='ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';

4,执行otter相关的otter.sql文件

本人的otter.sql文件放在了/root/otter安装包  里面(请忽视中文路径带来的不适感)

在mysql命令行执行以下子句：

drop database otter;

create database otter;

use otter;

source /root/otter安装包/otter.sql

然后，插入用户名密码(admin/admin)：

INSERT INTO `USER` VALUES ('1', 'admin', '801fc357a5a74743894a', 'ADMIN', 'admin', 'admin', '2019-01-17 15:51:07', '2019-01-17 15:51:07');
INSERT INTO `USER` VALUES ('2', 'guest', '471e02a154a2121dc577', 'OPERATOR', 'guest', 'guest', '2019-01-17 15:51:07', '2019-01-17 15:51:07');

4,安装manager和Node

解压manager和node

manager:

node:

配置manager和node

manager配置：vi conf/conf/otter.properties

otter.domainName 修改成搭建otter-manager的服务器地址

otter.database.driver.url 修改成otter自己的数据库地址

otter.database.driver.username 数据库用户名
otter.database.driver.password 数据库密码

otter.zookeeper.cluster.default = 127.0.0.1:2181 zk所在地址，酌情修改

node配置：其他都不用改变，只需要修改otter.manager.address的地址为otter-manager所在地址就行了

然后在node的conf目录下，新增一个nid文件:

touch nid

然后向其中写入1个值1(这个数字和otter中添加的node节点编号必须一致)

本人写的是7，这是因为Manager中，该node节点的编号为7

启动Manager和node

进入manager的bin目录

sh stop.sh

sh startup.sh

查看启动日志

tail -200f ../logs/manager.log

看到the manager server is running now 说明启动完成了

调试Manager：

如果centos6 执行一下这两个命令：

setenforce 0

service iptables stop

如果是centos7 以上，执行这三个命令

setenforce 0

systemctl iptables stop

systemctl firewalld stop

（命令可能是错的，但是大概意思是对的）

然后就可以通过域名访问otter-manager了。默认端口是8080.。

em....多了一个百度网盘的上传速度Logo，不管了。

然后点击机器管理-zookeeper管理，添加一个zk

接着添加一个Node，截图见上面，注意添加的node编号。必须与node/conf/nid文件的中一模一样，修改nid值后必须重启Node，并查看日志

然后启动node，在node目录上层执行以下命令

chmod 755 -R node

node/bin/stop.sh

node/bin/startup.sh

tail -200f node/logs/node/node.log