前言

有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常安装了。

本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。

在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。

第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。

闲言少叙,进入本篇的内容。

技术准备

VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++

软件下载

我们需要从Mysql官网上选择相应版本的安装介质,官网地址如下:

MySQL下载地址:http://www.mysql.com/downloads/

默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。

下载完成,上传至我们要安装的系统目录。

这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。

将我们下载的MySQL安装介质,上传至该目录下。

安装流程

1、首先解压当前压缩包,进入目录

cd /opt/mysql/
tar -xf mysql-5.7.-.el7.x86_64.rpm-bundle.tar 

这样,我们就完成了这个安装包的解压。

2、创建MySql超级管理用户

这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。

groupadd mysql

添加用户组

useradd -g mysql mysql

添加用户

id mysql

查看用户信息。

3、安装mysql RPM安装包,详细的过程如下

rpm -ivh *.rpm

这里报了一个错误,错误明细如下:

之前装的时候应该不会出现这个错误,我查了一下,这个错误的原因是因为我现在装的OS版本为7.0,在CentOS7.0版本中已经嵌入了自带的数据系统mariadb。

以前的linux系统中大部分的数据库采用的都是Mysql,但是MYSQL这货自从被sun收购之后,sun公司叫嚣着要收费服务等措施,所以在以后的CentOS系统中就没有再集成它了,并且又搞出了一个新的数据库mariadb.所以这里我们安装mysql会有冲突,这里我们就需要先卸载这个。

卸载过程如下:

<1>列出所有的被安装的rpm package

 rpm -qa | grep mariadb

就是上面这货,我们需要先卸载它。

<2>卸载mariadb软件

rpm -e mariadb-libs-5.5.-.el7_0.x86_64

结果报错,丫的不让你卸载,报错如下:

这里我们忽视掉这个错误信息,采用强制卸载的这个软件

 rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

这里,可以看到我们已经强制卸载了这个软件,下面的步骤就是安装Mysql了。

安装过程要按照如下顺序(必须)进行:

  • mysql-community-common-5.7.9-1.el7.x86_64.rpm
  • mysql-community-libs-5.7.9-1.el7.x86_64.rpm             --(依赖于common)
  • mysql-community-client-5.7.9-1.el7.x86_64.rpm          --(依赖于libs)
  • mysql-community-server-5.7.9-1.el7.x86_64.rpm         --(依赖于client、common)

按照以上顺序进行一个个的安装,脚本如下:

rpm -ivh mysql-community-server-5.7.-.el7.x86_64.rpm

但是,安装的过程中有可能出现以下错误

这个错误的提示的是,这里的Server版本需要perl组件进行安装,所以这里我们需要先将这个组件安装上去

yum install perl

可以看到这里已经安装成功了。

下面,我们继续安装MYSQL的Server包。

rpm -ivh mysql-community-server-5.7.-.el7.x86_64.rpm

安装完上面的rpm包之后,我们就需要配置相关权限,然后启动serve。
这里需要提示下:

mysql安装软件在/usr/share/mysql目录下

Mysql数据库创建在/var/lib/mysql目录下
 
我们进入到mysql这个目录中,更改一下权限:
cd /usr/share/mysql/
chown -R mysql:mysql .

下面,我们来启动这个Server,来查看一下。

这里需要提示一下,应该避免以root用户启动,要用我们新建的mysql用户进行启动。

service mysqld restart

这时候我们连接之后需要添加上权限。

在/ect/my.cnf 的最后面加上一行:skip-grant-tables
然后重启服务器就行了。

service mysqld restart

至此,我们完成了MySQL的安装过程。

结语

此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。

本篇主要介绍了Mysql数据库的安装,本来打算分析hive的安装的,下一篇我们继续。

有问题可以留言或者私信,随时恭候有兴趣的童鞋加大数据平台深入研究。共同学习,一起进步。

文章的最后给出之前几篇的基础篇:

大数据系列(1)——Hadoop集群坏境搭建配置

大数据系列(2)——Hadoop集群坏境CentOS安装

大数据系列(3)——Hadoop集群完全分布式坏境搭建

大数据系列(4)——Hadoop集群VSFTP和SecureCRT安装配置

如果您看了本篇博客,觉得对您有所收获,请不要吝啬您的“推荐”。

更有激动者,为您开辟了右侧打赏的功能。

大数据系列(5)——Hadoop集群MYSQL的安装的更多相关文章

  1. 【大数据系列】hadoop集群设置官方文档翻译

    Hadoop Cluster Setup Purpose Prerequisites Installation Configuring Hadoop in Non-Secure Mode Config ...

  2. 【大数据系列】hadoop集群的配置

    一.hadoop的配置文件分类 1.只读类型的默认文件 core-default.xml     hdfs-default.xml    mapred-default.xml   mapred-que ...

  3. 大数据: 完全分布式Hadoop集群-HBase安装

            HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境.   本文基 ...

  4. 大数据系列之分布式数据库HBase-0.9.8安装及增删改查实践

    若查看HBase-1.2.4版本内容及demo代码详见 大数据系列之分布式数据库HBase-1.2.4+Zookeeper 安装及增删改查实践 1. 环境准备: 1.需要在Hadoop启动正常情况下安 ...

  5. Spark新手入门——2.Hadoop集群(伪分布模式)安装

    主要包括以下三部分,本文为第二部分: 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看 Hadoop集群(伪分布模式 ...

  6. Hadoop集群搭建-05安装配置YARN

    Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 先保证集群5台虚 ...

  7. Hadoop集群搭建-04安装配置HDFS

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  8. Hadoop集群搭建-02安装配置Zookeeper

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  9. 大数据系列之Hadoop分布式集群部署

    本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave ...

随机推荐

  1. 重温JSP学习笔记--JSTL标签库

    以前写jsp的时候对jstl标签库是有些抵触的,因为我觉得嵌入java代码的方式几乎无往不利,没有必要使用标签库,不过这次复习还是好好地学习了一下,发现这个还是很有用处的,用得好能省不少事,JSTL是 ...

  2. Azure Backup (2) Azure备份服务

    <Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China. 本文介绍的Azure管理界面是Classic Model,网址:h ...

  3. HTML基本元素(二)

    1.图像 <img src="URL" alt="" /> 说明 src 定义图像的url alt 定义图像的替代文本 width 设置图像的宽度 ...

  4. 工作流引擎Oozie(二):coordinator

    1. 简介 coordinator是workflow的定时提交器,基于时间条件与数据生成触发(based on time and data triggers).简单点说,coordinator按所定义 ...

  5. Rafy 领域实体框架演示(3) - 快速使用 C/S 架构部署

    本系列演示如何使用 Rafy 领域实体框架快速转换一个传统的三层应用程序,并展示转换完成后,Rafy 带来的新功能. <福利到!Rafy(原OEA)领域实体框架 2.22.2067 发布!> ...

  6. 迷惑很久,仅以个人想法谈谈MVC架构,希望大家多给点意见

    博主是非科班出身,所以和大部分新手有着一样的困惑,究竟什么才能算是MVC框架,总是在谈Model,View,Controller分离,可是究竟什么才能算是分离,而他们又是负责什么样的分工呢. 大二的时 ...

  7. 体验VS2015 Update 2 的 Android 和 Python

    趁着假期不用加班,又遇到build 2016的劲爆消息--Xamarin免费集成到VS中 所以立马把vs升级到update 2体验一下下(之前也体验过). 在安装的时候也是只勾选了部分,不需要太多(全 ...

  8. browserCaps与浏览器功能设置

    使用 Web.config 文件中的 browserCaps 元素来定义浏览器的行为在 .NET Framework 2.0 中被否决,但仍受支持.此元素中的数据与浏览器定义文件 (.browser) ...

  9. 背水一战 Windows 10 (20) - 绑定: DataContextChanged, UpdateSourceTrigger, 对绑定的数据做自定义转换

    [源码下载] 背水一战 Windows 10 (20) - 绑定: DataContextChanged, UpdateSourceTrigger, 对绑定的数据做自定义转换 作者:webabcd 介 ...

  10. php实现设计模式之 适配器模式

    <?php /* * 适配器模式:将一个类的接口转换成客户希望的另外一个接口.Adapter模式使得原来由于接口不兼容而不能一起工作的那些类可以一起工作(结构型模式) * * 一个源接口,不符合 ...