大数据系列(5)——Hadoop集群MYSQL的安装
前言
有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常安装了。
本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。
在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。
第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。
闲言少叙,进入本篇的内容。
技术准备
VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++
软件下载
我们需要从Mysql官网上选择相应版本的安装介质,官网地址如下:
MySQL下载地址:http://www.mysql.com/downloads/

默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。

下载完成,上传至我们要安装的系统目录。

这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。
将我们下载的MySQL安装介质,上传至该目录下。
安装流程
1、首先解压当前压缩包,进入目录
cd /opt/mysql/
tar -xf mysql-5.7.-.el7.x86_64.rpm-bundle.tar

这样,我们就完成了这个安装包的解压。
2、创建MySql超级管理用户
这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。
groupadd mysql
添加用户组
useradd -g mysql mysql
添加用户
id mysql
查看用户信息。

3、安装mysql RPM安装包,详细的过程如下
rpm -ivh *.rpm
这里报了一个错误,错误明细如下:

之前装的时候应该不会出现这个错误,我查了一下,这个错误的原因是因为我现在装的OS版本为7.0,在CentOS7.0版本中已经嵌入了自带的数据系统mariadb。
以前的linux系统中大部分的数据库采用的都是Mysql,但是MYSQL这货自从被sun收购之后,sun公司叫嚣着要收费服务等措施,所以在以后的CentOS系统中就没有再集成它了,并且又搞出了一个新的数据库mariadb.所以这里我们安装mysql会有冲突,这里我们就需要先卸载这个。
卸载过程如下:
<1>列出所有的被安装的rpm package
rpm -qa | grep mariadb

就是上面这货,我们需要先卸载它。
<2>卸载mariadb软件
rpm -e mariadb-libs-5.5.-.el7_0.x86_64
结果报错,丫的不让你卸载,报错如下:

这里我们忽视掉这个错误信息,采用强制卸载的这个软件
rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

这里,可以看到我们已经强制卸载了这个软件,下面的步骤就是安装Mysql了。
安装过程要按照如下顺序(必须)进行:
- mysql-community-common-5.7.9-1.el7.x86_64.rpm
- mysql-community-libs-5.7.9-1.el7.x86_64.rpm --(依赖于common)
- mysql-community-client-5.7.9-1.el7.x86_64.rpm --(依赖于libs)
- mysql-community-server-5.7.9-1.el7.x86_64.rpm --(依赖于client、common)
按照以上顺序进行一个个的安装,脚本如下:
rpm -ivh mysql-community-server-5.7.-.el7.x86_64.rpm
但是,安装的过程中有可能出现以下错误

这个错误的提示的是,这里的Server版本需要perl组件进行安装,所以这里我们需要先将这个组件安装上去
yum install perl

可以看到这里已经安装成功了。
下面,我们继续安装MYSQL的Server包。
rpm -ivh mysql-community-server-5.7.-.el7.x86_64.rpm
安装完上面的rpm包之后,我们就需要配置相关权限,然后启动serve。
这里需要提示下:
mysql安装软件在/usr/share/mysql目录下
cd /usr/share/mysql/
chown -R mysql:mysql .
下面,我们来启动这个Server,来查看一下。
这里需要提示一下,应该避免以root用户启动,要用我们新建的mysql用户进行启动。
service mysqld restart
这时候我们连接之后需要添加上权限。
在/ect/my.cnf 的最后面加上一行:skip-grant-tables
然后重启服务器就行了。
service mysqld restart

至此,我们完成了MySQL的安装过程。
结语
此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。
本篇主要介绍了Mysql数据库的安装,本来打算分析hive的安装的,下一篇我们继续。
有问题可以留言或者私信,随时恭候有兴趣的童鞋加大数据平台深入研究。共同学习,一起进步。
文章的最后给出之前几篇的基础篇:
大数据系列(4)——Hadoop集群VSFTP和SecureCRT安装配置
如果您看了本篇博客,觉得对您有所收获,请不要吝啬您的“推荐”。
更有激动者,为您开辟了右侧打赏的功能。
大数据系列(5)——Hadoop集群MYSQL的安装的更多相关文章
- 【大数据系列】hadoop集群设置官方文档翻译
Hadoop Cluster Setup Purpose Prerequisites Installation Configuring Hadoop in Non-Secure Mode Config ...
- 【大数据系列】hadoop集群的配置
一.hadoop的配置文件分类 1.只读类型的默认文件 core-default.xml hdfs-default.xml mapred-default.xml mapred-que ...
- 大数据: 完全分布式Hadoop集群-HBase安装
HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. 本文基 ...
- 大数据系列之分布式数据库HBase-0.9.8安装及增删改查实践
若查看HBase-1.2.4版本内容及demo代码详见 大数据系列之分布式数据库HBase-1.2.4+Zookeeper 安装及增删改查实践 1. 环境准备: 1.需要在Hadoop启动正常情况下安 ...
- Spark新手入门——2.Hadoop集群(伪分布模式)安装
主要包括以下三部分,本文为第二部分: 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看 Hadoop集群(伪分布模式 ...
- Hadoop集群搭建-05安装配置YARN
Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 先保证集群5台虚 ...
- Hadoop集群搭建-04安装配置HDFS
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- Hadoop集群搭建-02安装配置Zookeeper
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- 大数据系列之Hadoop分布式集群部署
本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave ...
随机推荐
- jQuery-1.9.1源码分析系列(五) 回调对象
jQuery.Callbacks()提供的回调函数队列管理本来是延时回调处理的一部分,但是后面将其独立出来作为一个模块.jQuery就是这样,各个模块间的代码耦合度是处理的比较好的,值得学习.虽然是从 ...
- EF 的 霸气配置,秒杀一切
通过EF 作为操作数据库的工具有一段时间了,也做了几个相对不大的项目,慢慢的也对EF的使用摸索出来了一些规则,虽然说不是技术难点,但是,我说的是但是,能够提高我们开发效率的棉花糖有时我们还是必须要吃的 ...
- 4.DB Initialization(数据库初始化)[EF Code-First系列]
前面的例子中,我们已经看到了Code-First自动为我们创建数据库的例子. 这里我们将要学习的是,当初始化的时候,Code-First是怎么决定数据库的名字和服务的呢??? 下面的图,解释了这一切! ...
- [Access] C# 通过 COM 组件访问 Access 文件
说明: 1,采用 dynamic 调用 COM 组件,适用于 .NET 4.0 以上支持 dynamic 版本的才可以: 2,执行速度不敢恭维,只是因为要用于 Silverlight OOB 模式中才 ...
- 比较牛X的互联网公司都有哪些作死的行为
以下为近乎家的小近吐血整理: 1流氓行为 臭表碾说的就是你们! 百度 还有这种伪造网页弹窗: 360 不经同意,也不弹窗提醒,直接给我们安装推广软件.比较典型的是 腾讯 腾讯一直走在行业最前端,买 ...
- SQL Server 数据库分离与附加
一.概述 SQL Server提供了“分离/附加”数据库.“备份/还原”数据库.复制数据库等多种数据库的备份和恢复方法.这里介绍一种学习中常用的“分离/附加”方法,类似于大家熟悉的“文件拷贝”方法,即 ...
- [javaSE] 注解-自定义注解
注解的分类: 源码注解 编译时注解 JDK的@Override 运行时注解 Spring的@Autowired 自定义注解的语法要求 ① 使用@interface关键字定义注解 ② 成员以无参无异常方 ...
- Sublime Text使用配置介绍
这篇文章很多内容都是来源自网络,发布这里当作自己留个底,以后不用到处去找 对于文本编辑器,我用过notepad2.notepad++.Editplus.UltraEdit.Vim.TextPad,都没 ...
- 使用adagio包解决背包问题
背包问题(Knapsack problem) 背包问题(Knapsack problem)是一种组合优化的多项式复杂程度的非确定性问题(NP问题).问题可以描述为:给定一组物品,每种物品都有自己的重量 ...
- Maven命令行使用:mvn clean compile(编译)
先把命令行切换到Maven项目的根目录,比如:/d/xxxwork/java/maven-test,然后执行命令: mvn clean compile 执行结果如下: [INFO] Scanning ...