IBM BigInsights 3.0.0.2 集群环境搭建
1. 改动hosts文件和永久主机名
由于BigInsights 3.0版本号不像之前的版本号能够直接用IP来添加节点,因此我们须要更改每台server的hosts文件和主机名:
vim/etc/hosts 在这个文件里添加例如以下的几行:
vim /etc/sysconfig/network 在这个文件里设置永久主机名:
2. install ksh
The server system do not contain the ksh shell, because IBM DB2 requires that Ksh be installed.
用chsh –l查看全部shell版本号,发现没有ksh,于是用yum list \*ksh\*来查看availablepackage:
发现有ksh.x86_64安装包,于是再用yum install ksh进行安装。
成功。
3. shut down ipv6
ipv6 might causeproblem with MapReduce workloads.
查看server端ipv6的模块是否被载入:
或者用ifconfig| grep –i inet6来直接查看。
关闭IPv6,能够改动 /etc/hosts,把ipv6的那句本地主机名解析的凝视掉:
#::1 localhost localhost6 localhost6.localdomain6
并新建设定文件:/etc/modprobe.d/ipv6off.conf:
加入:
alias net-pf-10 off
options ipv6 disable=1
然后reboot后查看ipv6是否被关闭:
4. 集群时间同步:
前半部分:
首先设置time server,在此我将9.110.***.**9设为timeserver。
date –s 03/11/2015
date –s 16:19:50
clock –w
hwclock –systohc
后两个命令是把设置的时间写到硬件时间中区,也就是CMOS里面的时间。
然后为了将9.110.***.**9配置成time server,改动/etc/ntp.conf:
vim /etc/ntp.conf
凝视掉restrict default kod nomodifynotrap nopeer noquery这一行
增加restrict 9.110.***.**7 mask255.255.255.255 nomodify notrap
增加 server 127.127.1.0
增加fudge 127.127.1.0 stratum 10
这两行是让本机的ntpd与本地硬件时间同步。
然后重新启动ntpd服务,service ntpd restart
chkconfig ntpd on 来设置开机自己主动启动ntpd服务
接下来改动iptables,将tcp和udpport开放,由于这是ntp须要的port:
/sbin/iptables -I INPUT -p tcp --dport 103 -j ACCEPT
/sbin/iptables -I INPUT -p udp --dport 103 -j ACCEPT
/etc/rc.d/init.d/iptables save
/etc/rc.d/init.d/iptables restart
查看port是否已经开放
/etc/init.d/iptables status
这样9.110.***.**9就成为一台time server
后半部分:
如今我们配置9.110.***.**7,
相同改动/etc/ntp.conf:vim /etc/ntp.conf
由于9.110.***.**7不须要做time server,因此凝视掉restrictdefault kod nomodify notrap nopeer noquery这一行
增加server 9.110.***.**9这一句,用来和9.110.***.**9 server同步。
这样时间同步就做好了,之后的默认操作是5mins和time server同步一次。
5. 更改/home的挂载分区
由于BigInsights在安装时,主节点在成功安装之前会产生一个默认的文件夹__biginsights_install,它是存储于/home的这个文件夹下,而我们的这几台server的/home是挂载在/dev/mapper/VolGroup-lv_home这个分区下,这个分区眼下的大小仅仅有2G,在安装时,会产生cpwriting , no space left on the device 的错误。
解决此问题的方案有两个,一个是扩展磁盘分区容量,可是这样做会比較麻烦耗时。
还有一种方案是:
备份并删除/home,或者将/home重命名,然后再cd /进入到[root@nodexx /]。
接着在当前文件夹下进行/home的新建,mkdir /home。在此我们的/home便挂载到了/dev/mapper/VolGroup-lv_root分区下。当然在此,为了让其永久生效,而不会在重新启动后恢复原来的挂载设置,我们还须要再更改一个文件,vim /etc/fstab
凝视掉这一行保存就可以。
在此,我们在此查看分区情况:
已经没有了/dev/mapper/VolGroup-lv_home分区。
注:第1,2,3,步以及第4步的后半部分需为每一个节点进行操作,第5步仅为安装节点进行操作。
经过以上的前期准备工作后,我们就能够进行安装,之后得到successful的结果:
IBM BigInsights 3.0.0.2 集群环境搭建的更多相关文章
- Redis 快速集群环境搭建
环境 Linux :centos 7 redis:redis-5.0.9 Redis 集群环境搭建步骤 早期 redis 版本集群环境搭建需要安装 ruby 运行环境,搭建步骤比较繁琐: redis ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Hadoop+Spark:集群环境搭建
环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...
- hadoop集群环境搭建之安装配置hadoop集群
在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/ (如果没有这个目录 ...
- hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
- Ningx集群环境搭建
Ningx集群环境搭建 Nginx是什么? Nginx ("engine x") 是⼀个⾼性能的 HTTP 和 反向代理 服务器,也是⼀个 IMAP/ POP3/SMTP 代理服务 ...
- hadoop2集群环境搭建
在查询了很多资料以后,发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章. 所以,我想把我知道的分享给大家,方便大家交流. 以下是本文的大纲: 1. 在windows7 下面安装虚拟机2 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 sla ...
随机推荐
- Sqlserver2000联系Oracle11G数据库进行实时数据的同步
Sqlserver2000联系Oracle11G数据库进行实时数据的同步 1,前提条件 我有sqlserver2000环境,已经存在oracle11g环境,准备这两个数据库,建立各自的訪问账号,两者之 ...
- Unity 二战中加飞机
一个简短的引论: 谢意: 本申请中使用<Unity3D\2D移动游戏开发>提供资源.著作权属于作者.感谢作者.基于原始时本申请的二次开发. 要素: 1.增加2s cd的机身旋转,旋转时保持 ...
- HDU 4917 Permutation
意甲冠军: 序列p1.p2.p3--pn由1.2.3--n这些数字 现在给出一些条件pi<pj 部条件的排列的个数 思路: 非常easy想到用一条有向的线连接全部的pi和pj 那么就构成了 ...
- MTK MOTA升级步骤
MOTA的前提下有其自己的server,MTK我在已经完成,可以MTK应用,然后移动到它自己的server向上. 1.打开ProjectConfig.mk中间MTK_SYSTEM_UPDATE_SUP ...
- Vim 基本配置和经常使用的命令
vim 优势和应用场景 vim 的优点纯文字编辑和 Linux 完美的融合提供了命令行.只能假设 ssh 至server进行操作,那么这样的情况就仅仅能使用 vim 了.vim 也是最为强大的通用文本 ...
- AM335x(TQ335x)学习笔记——u-boot-2014.10移植
根据最近移植u-boot-2014.10至TQ335x,基于这样的假设am335x evm移植.不是很多地方需要改变. 因为TI的am335x evm开发了使用eeprom船上保存配置信息.它使用不同 ...
- 【POJ3612】【USACO 2007 Nov Gold】 1.Telephone Wire 动态调节
意甲冠军: 一些树高给出.行一种操作:把某棵树增高h,花费为h*h. 操作完毕后连线,两棵树间花费为高度差*定值c. 求两种花费加和最小值. 题解: 跟NOIP2014 D1T3非常像. 暴力动规是O ...
- NSIS:禁止选择安装路径和编辑安装目录
原文 NSIS:禁止选择安装路径和编辑安装目录 如果你想在安装包中禁止用户选择安装路径和编辑安装目录,有两种方式. 第一种:注释或删除安装目录选择页面 1 ;!insertmacro MUI_PA ...
- 基于低压电力采集平台DW710C的基础开发
实验课题 (1)自己定义通信规约,採用java或C++编写简单的PC端上位机软件,实现採集器与PC机的通信.实验可在DW710C-PCproject下进行. (2)实现LCD显示字符.数字.汉字和简单 ...
- cidaemon.exe是什么进程及怎样关闭cidaemon.exe进程
问题描写叙述: 这段时间机器总是出现一个奇怪的问题:cidaemon.exe进程占用CUP率98%以上,大大影响了电脑的正常使用.资源管理器中出现多个cidaemon.exe进程,强制结束占用cpu率 ...