1.环境和软件准备: hive版本:apache-hive-2.3.6-bin.tar.gz,下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ hadoop版本:hadoop-2.9.2.tar.gz JDK版本:jdk-8u221-linux-x64.tar.gz mysql版本:8.x hive-2.x与hadoop-2.x匹配,hive-3.x与hadoop-3.x匹配.数据库主要是存放hive的元数据,可选,本文以mysql为例…

问题: 公司最近在搞presto,主要是分析一下presto和hive的查询大数据量的性能对比: 我先把我的对比图拿出来(50条数据左右)针对同一条sql(select * from employee where eid = 1203) hive的查询,下面有时间:4.436s presto的查询: 0.02s 查询效率比为  4.436 / 0.02  ===  2021 补充: presto是什么 Presto是Facebook开发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析…

安装mysql 检查是否安装mysql: rpm -qa |grep mysql 删除已经安装的mysql: rpm -e mysql-libs-5.1.71-1.el6.x86_64 报错:因为mysql有相关依赖,并不能直接删除   rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 成功:使用--nodeps 也就是说不检查依赖.这样的话,那些使用该软件包的软件在此之后可能就不能正常工作了(注意,nodeps前是双横杠)   如果版本较高,先卸载M…

目录 1. 前言 2. MySQL安装 2.1 更换yum下载源 2.2 开启MySQL远程登录 3. Hive安装 3.1 下载Hive 3.2 安装Hive和更改配置文件 4. MySQL驱动包的下载 5. 启动与测试 1. 前言 前提是已经安装好了hadoop,我的hadoop搭建主要参考CSDN的博客,当然此次Hive环境的搭建主要也是参考这位博主的另外一个博客.不过我想将搭配过程中他的博客没有提到的几个点记录下来. 2. MySQL安装 主要参考的是这篇博客的,但是出现的第一个问题就是…

Centos搭建Hive 一.Hive简介 二.安装Hive 2.1hive下载 2.2上传解压 2.3配置hive相关的环境变量 三.Mysql 3.1安装mysql connector 3.2 将mysqld上创建 connector 拷贝到hive的lib包中 3.3在mysql上创建hive元数据库,并对hive进行授权 四.配置hive-site.xml 五.配置hive-env.sh和hive-config.sh 六.验证hive 一.Hive简介 Hive是在HDFS之上的架构,H…

CentOS安装gitlab,gerrit,jenkins并配置ci流程 By Wenbin juandx@163.com 2016/4/9 这是我参考了网上很多的文档,配置了这三个软件在一个机器上,web分别访问8081,8082,8083端口,成功构建了一个ci流程. 版本都是目前最新的版本. 用户 Gitlab:  root/wenbindevops , wenbin/12345678 Gerrit:  gerrit/gerrit, wenbin/wenbin, jenkins/jenki…

注:以下所有操作均在CentOS 6.5 x86_64位系统下完成. 我们需要搭建一个自己的SVN服务器. 此外,搭建好的SVN服务器除了需要支持svn协议外,最好还需要支持HTTP协议和HTTPS协议,这个时候就需要有Web服务器的介入工作. #准备工作# 在这之前需要先把Apache和Nginx安装好,具体见:<CentOS安装Apache-2.4.10+安全配置>.<CentOS安装Nginx-1.6.2+安全配置>. #Subversion的安装#  开始下载Subvers…

注:以下所有操作均在CentOS 6.5 x86_64位系统下完成. #准备工作# 前段时间PHP官方发布了一个重要的安全升级公告,修复了两个unserialize函数的严重漏洞,目前受影响的版本有: <5.4.36 <5.5.20 <5.6.4 这里我们直接下载5.6.4的版本进行安装配置,并且在这之前需要先把MySQL和Apache已经安装好,最好Nginx也先安装好,具体见:<CentOS安装MySQL-5.6.10+安全配置>.<CentOS安装Apache-2…

注:以下所有操作均在CentOS 6.5 x86_64位系统下完成. #准备工作# 在安装Nginx之前,请确保已经使用yum安装了各基础组件,并且配置了www用户和用户组,具体见<CentOS安装Nginx-1.6.2+安全配置>. 另外还需要先安装以下几个组件: 1.安装Sqllite: # wget http://www.sqlite.org/2014/sqlite-autoconf-3080704.tar.gz # .tar.gz # cd sqlite-autoconf- # ./c…

注:以下所有操作均在CentOS 6.5 x86_64位系统下完成. #准备工作# 在安装Nginx之前,请确保已经使用yum安装了pcre等基础组件,具体见<CentOS安装LNMP环境的基础组件>. 然后创建www的用户组和用户,并且不允许登录权限: # id www id: www:无此用户 # groupadd www # useradd -g www -s /sbin/nologin www # id www uid=(www) gid=(www) 组=(www) #Nginx的安装…