1.到mysql官网下载安装包 下载地址:https://dev.mysql.com/downloads/mysql/5.6.html#downloads 选择以下截图中的版本 2.下载后上传到linux中 3.安装 卸载系统自带的mariadb [root@localhost soft]# rpm -qa | grep mariadb mariadb-libs--.el7.x86_64 [root@localhost soft]# [root@localhost soft]# [root@lo…

准备Hadoop-2.6.0-cdh5.16.1.tar.gz 下载网址 http://archive.cloudera.com/cdh5/cdh/5/Hadoop-2.6.0-cdh5.16.1.tar.gz Hadoop中的NameNode和DataNode是通过SSH(Secure Shell)进行通信的,所以要限完成SSH的免密登录. 一路回车 ,最后yes ,输入用户密码确认 ssh-kengen -t rsa ssh-copy-id localhost 安装到 /opt/hadoop…

三台虚拟机,IP地址通过路由器静态DHCP分配 (这样就无需设置host了). 三台机器信息如下 -      1. hadoop-a: 192.168.0.20  #master     2. hadoop-b: 192.168.0.21  #slave     3. hadoop-c: 192.168.0.22  #slave CenOS 7.0, Hadoop 2.6.0 1. 设置ssh无密码登陆(略)#可参考课程PPT或者 http://my.oschina.net/u/1169607…

安装 jdk -openjdk* 检查安装:java -version 创建Hadoop用户,设置Hadoop用户使之可以免密码ssh到localhost su - hadoop ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys cd /home/hadoop/.ssh authorized_keys 注意这里的权限问题,保证.ssh目录权限为700,authorize…

先按照上一篇安装与配置好CentOS以及zookeeper http://www.cnblogs.com/dopeter/p/4609276.html 本章介绍在CentOS搭建Hadoop集群环境 一. 安装Hadoop 1. 解压文件 tar -zxvf hadoop-2.7.0-x64.tar.gz -C /opt #解压Hadoop 2. 编辑全局变量 vi /etc/profile 增加以下全局变量 export HADOOP_HOME=/opt/hadoop-2.7.0export…

1.安装准备: Centos7保证网络连通,如果网络不能连通,可通过配置yum源使用代理服务. vim /etc/yum.conf # The proxy server - proxy server:portproxy=http://192.168.178.1:8080# The account details for yum connections# proxy_username=yum-user# proxy_password=qwerty 2.关闭SELinux.防火墙 sudo sed…

安装环境为 CentOS 64位系统, 大概分下面几个步奏, 0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop 详细说每个步奏, 0. 安装jdk 下载JDK到每台机器上,解压后在.bash_profile中设置JAVA_HOME环境变量为JDK目录 1. 配置SSH hadoop是master/slaver 结构,配置SSH使得从maste…

本次安装 hadoop版本为2.7.4,单节点安装.注意,在安装hadoop前要先安装jdk并配置好环境变量. 1. 上传hadoop压缩包文件到服务器上去(主机名centos1,ip 192.168.100.100),或者直接从官网wget方式下载 2. 将压缩文件解压缩到/home/koushengrui/app目录中,重命名为hadoop目录,修改配置文件(配置文件在etc/hadoop目录中). 第一个:hadoop-env.sh vi hadoop-env.sh 修改 export J…

1.Hadoop简介 Hadoop是一个由Apache基金会所开发的开源分布式系统基础框架,使用Java开发,是处理大规模数据的软件平台. Hadoop可以从单一节点扩展到上千节点.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. 本次安装的是单点问题 2.安装Java JDK 由于Hadoop使用Java编写,要运行它我们需要安装Java运行环境 jdk下载地址:         http://www.oracle.com/technetwork/…

1.使用rpm查看是否安装gcc.make 若如下图有输出版本详细表示已安装,则无需再次安装,直接下一步(输入rpm -qa 包名称) 若没有安装则执行以下命令安装:  yum install gcc gcc-c++  yum -y install gcc automake autoconf libtool make 2.切换到/usr/local/src目录下载node最新安装包 (1)切换目录  cd /usr/local/src (2)下载安装包  wget http://nodejs.o…

1.前言 框框博客在线报时:2018-11-07 19:31:06 当前MySQL最新版本:8.0.13 (听说比5.7快2倍) 官方之前表示:MySQL 8.0 正式版 8.0.11 已发布,MySQL 8 要比 MySQL 5.7 快 2 倍,还带来了大量的改进和更快的性能! 开源中国介绍文档:MySQL 8.0 正式版 8.0.11 发布:比 MySQL 5.7 快 2 倍 2.开始 1.我的设备介绍 服务器:2018-11-06 新购置 的 阿里云CentOS7 服务器: 系统镜像采用阿…

写在前面 安装HBase 在HBase中创建表结构 安装配置并启动opentsdb 写在前面 最近因为项目需要在读opentsdb的一部分源码,后面会做个小结分享出来.本人是不大喜欢写这种安装部署的文章,考虑到opentsdb安装部署对于初次接触者来说不太友好,另外对公司做测试的同事可能有些帮助作用,方便他们快速安装部署,就把OpenTSDB 2.4.0安装部署文档写在这里. 对于opentsdb是什么,应用领域这里就不说了,不了解的请看官网http://opentsdb.net/. 这里只提一…

Mysql数据库的安装对于开发者来说,是我们必然会面对的问题,它的安装过程其实并不复杂,并且网络上的安装教程也非常多,但是对于新手来说,各种不同形式的安装教程,又给新手们带来了要选择哪种方式进行安装的难题,而且很多时候按照教程也没有能够安装成功,安装过程出现各种各样的错误. 下面记录了我在Linux(Centos 7)环境下安装Mysql的完整过程,实操记录,绝非水文,如有错误或遗漏,欢迎指正. 一.Mysql安装 1.下载 MySQL 所需要的安装包 ​ 网址:https://dev.mysq…

官方参考URL:https://www.zabbix.com/documentation/4.0/start 1. 安装 Apache 2.4(略) 注意系统时间/时区ntp server是否定时同步se-linux 关闭防火墙暂时关闭 2. mysql 5.7 (非本机安装 略) 3. 安装 php 5.4 (略) 安装完应该支持以下模块 [PHP Modules] bcmath bz2 calendar Core ctype curl date dom ereg exif fileinfo…

注:我所有的操作均通过Xshell 5远程连接Ubuntu进行实施 第一步:启动hadoop,利用jps查看hadoop是否已经启动,如果没有启动用start-dfs.sh脚本启动(hadoop2.X中不建议使用start-all.sh) 第二步:利用jps检查是否启动成功,看到DataNode, NameNode, SecondaryNode就表示成功启动了 第三步:在本机上建立一个测试用的test.txt文档 第四步:在HDFS上新建一个input目录 第五步:将创建的test.txt文档上…

安装环境 linux版本:CentOS 7.6 x64 Mysql:8.0 在CentOS中默认安装有MariaDB,但是我们需要的是MySQL,安装MySQL可以覆盖MariaDB. MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可.开发这个分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此社区采用分支的方式来避开这个风险.MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品.…

集群安装之后,hdfs 不能上传文件,也提示rute等错误,其实是防火墙问题,关闭防火墙即可． CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙.firewall:systemctl start firewalld.service#启动firewallsystemctl stop firewalld.service#停止firewallsystemctl disable firewalld.service#禁止firewall开机启动 其次是ssh 配置…

groupadd test             //新建test工作组 useradd -g test phpq        //新建phpq用户并增加到test工作组 userdel 选项 用户名 常用的选项是 -r,它的作用是把用户的主目录一起删除. chmod u+w /etc/sudoers vim /etc/sudoers 在文件的如下位置,为hadoop用户和spark用户添加一行即可: root ALL=(ALL) ALL hadoop ALL=(ALL) ALL spark…

下载地址:地址:http://www.oracle.com/technetwork/middleware/weblogic/downloads/wls-main-097127.html 下载最新的weblogic安装包: 将安装包上传到服务器,还是root直接安装. 安装命令:java -jar fmw_12.2.1.3.0_wls.jar Extracting the installer . . . . . . . . . . . DoneThe current user is root or…

没有mac的root密码,当前用户有sudo权限,所以想以root身份执行的命令都加了sudo. 是否存在 _mysql 用户和用户组,并查看用户 _mysql 是不是用户组 _mysql 的成员. 把解压后的代码移动到 /usr/local/mysql 目录. #切换到 /usr/local/mysql 目录 cd /usr/local/mysql #是否存在_mysql用户和用户组,并查看用户_mysql是不是用户组_mysql的成员 $ dscl . -list /Users|grep _…

第一次安装出现了各种问题,尤其是对于不是太熟悉linux系统的更是头疼不已呀!特此记录一下,希望能够让小伙伴们少走点弯路. 1.给机器添加路由 (根据自己的机器情况,可以忽略)   route add -net 172.17.2.0 netmask 255.255.255.0 gw 192.168.0.1 (windows)   route /p add 172.17.2.0 mask 255.255.255.0 192.168.0.1(linux)   2.集群主机配置 2.1 .配置静态 I…

安装前 1,更新apt sudo apt-get update   会让你输入密码(自己登录Ubuntu的时候设置的),输入密码不会显示在终端面板上,确定自己敲对之后点回车就行. 2,安装SSH服务器 sudo apt-get install openssh-server      安装过程中有个Y/N?     选Y 如果出现  解决一: sudo rm /var/cache/apt/archives/lock sudo rm /var/lib/dpkg/lock sudo rm /var/l…

1.在已经安装好系统的linux服务器上关闭selinux和iptables 2.在所有linux服务器上配置ntp服务并设置ntp时间同步 3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本 (1).下载java包到/usr/local目录解压 (2).添加java环境到/root/.bash_profile目录下 export JAVA_HOME=/usr/local/jdk1.8.0_211 export JRE_HOME=$JAVA_HOME/jre export…

Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) 主机环境 软件环境 主机规划 主机安装前准备 安装jdk1.8 安装zookeeper 安装hadoop 配置HDFS 配置YARN 集群初始化 启动HDFS 启动YARN 整个集群启动顺序 启动 停止 Hbase安装 Hive安装 主机环境 基本配…

1.下载Hive2.3.0 wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz 2.解压到指定安装目录 tar -zxvf apache-hive-2.3.0-bin.tar.gz mv apache-hive-2.3.0-bin /usr/local/hive cd /usr/local/hive 3.配置/etc/profile,在/etc/profile中添加如下语句 expor…

#初始化服务器 echo 'export LC_ALL="en_US.UTF-8"' >> /etc/profile source /etc/profile #!/bin/bash #1. 新服务器建议把一些软件通过yum安装上,因为只是占用很小的磁盘空间,但是比较常用 yum -y install wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake\ libxml2-devel openssl-devel curl…

预备条件: 1. 已安装JDK Add Hadoop Group and User $ sudo addgroup hadoop$ sudo adduser --ingroup hadoop hduser$ sudo adduser hduser sudo     切换到hduser账户下操作     SSH-server 安装 $ sudo apt-get install openssh-server   Setup SSH Certificate   $ ssh-keygen -t rsa…

安装JDK 下载jdk https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择最新版本:   下载hadoop 官网:https://hadoop.apache.org/releases.html 当前时间最新版本:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.…

1. 环境准备 zookeeper3.4.12 mysql5.7 hive2.3.4 hadoop2.7.3 JDK1.8 hbase1.3.3 2. 集群规划 ip地址 机器名 角色 192.168.1.101 palo101 hadoop namenode, hadoop datanode, yarn nodeManager, zookeeper, hive, hbase master,hbase region server, 192.168.1.102 palo102 hadoop sec…

一.准备工作 1.离线部署主要分为三块: MySQL离线部署 CM离线部署 Parcel文件离线源部署 2.规划 节点 MySQL部署组件 Parcel文件离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor NN RM DN NM hadoop002     Alert Publisher Event Server DN NM hadoop003     Host MonitorService Monitor DN NM 3.下载源:…