一.前提条件 安装了Zookeeper.Hadoop HDFS HA  安装方法: http://www.cnblogs.com/raphael5200/p/5154325.html 二.安装Mysql 因为使用量多的是单用户数据库模式,并且数据库使用最多的是mysql 所以在这里选择mysql数据库: $ yum install mysql-server $ service mysqld start#连接mysql $ mysql -uroot -p  #首次密码是空的(直接敲空格) use…

这种方式是最简单的存储方式,只需要在hive-site.xml做如下配置便可; $ vim hive-site.xml <configuration>   <property>     <name>javax.jdo.option.ConnectionURL</name>     <value>jdbc:derby:;databaseName=metastore_db;create=true</value>   </proper…

mac 下卸载mysqldmg mac下mysql的DMG格式安装内有安装文件,却没有卸载文件--很郁闷的事. 网上搜了一下,发现给的方法原来得手动去删. 很多文章记述要删的文件不完整,后来在stackoverflow这里发现了一个遗漏的地方,所以将完整版记述在这里,以供查阅. 先停止所有mysql有关进程. sudo rm /usr/local/mysql sudo rm -rf /usr/local/mysql* sudo rm -rf /Library/StartupItems/MySQL…

一．常见的数据分析引擎 Hive:Hive是一个翻译器,一个基于Hadoop之上的数据仓库,把SQL语句翻译成一个  MapReduce程序.可以看成是Hive到MapReduce的映射器. Hive       HDFS 表         目录 数据       文件 分区       目2 2.Pig 3.Impala 4.Spark SQL 二．Hive 的体系结构 用户接口主要有三个: 1.CLI Shell命令行 2.JDBC/ODBC:Hive的Java,与传统JDBC相似 3.W…

##前期工作 安装JDK 安装Hadoop 安装MySQL ##安装Hive ###下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.1-bin.tar.gz. 解压安装Hive 使用以下命令安装 Hive: sudo mv apache-hive-2.1.1-bin.tar.gz /opt cd /opt sudo tar -xzvf apache-hive-2.1.1-bin.tar.gz ##解压 sudo ln -s…

概述 数据仓库:是一个面向主题的.集成的.不可更新的.随时间不变化的数据集合,它用于支持企业或组织的决策分析处理. 数据仓库的结构和建立过程: 数据源 数据存储及管理 ETL Extract 提取 Transform 转换 Load 装载 数据仓库引擎 前端展示 数据查询 数据报表 数据分析 1)产生背景 MapReduce编程的不便性 HDFS上的文件缺少schema 2)是什么 The Apache Hive ™ data warehouse software facilitates rea…

一.上传hive 0.11解压后的文件到linux 1.用的版本是shark站点提供的,可能是针对shark修改了代码. 2.追加mysql.oracle两个jdbc驱动包到lib目录下. 二.配置相关文件 1..bash_profile文件 export HIVE_HOME=/home/kituser/bigdata/hive-0.11.0-binexport HIVE_CONF_DIR=$HIVE_HOME/confexport CLASSPATH=$CLASSPATH:$HIVE_HOME…

环境: hadoop 3.1.1 hive 3.1.0 mysql 8.0.11 安装前准备: 准备好mysql-connector-java-8.0.12.jar驱动包 上传hive的tar包并解压 第一步: 进入hive/conf,拷贝hive-env.sh.template 为hive-env.sh,修改部分为第48,51,54行 # Licensed to the Apache Software Foundation (ASF) under one # or more contribut…

一.下载 1.下载Apache 下载地址:https://www.apachelounge.com/download/VC11/ 2.下载MySQL 下载地址:http://dev.mysql.com/downloads/mysql/3.下载PHP 下载地址:http://windows.php.net/download 提示:如果电脑没安装VC11请先安装,下载地址:https://www.microsoft.com/zh-CN/download/details.aspx?id=30679 二…

1  cd / 2 mkdir -p /app/ios 3  cd /opt     mkdir ios 4   把下载好的centos-6.7-x86_64-bin-dvd1.iso  上传到 /opt/ios目录下 5 把光盘挂载到 /app/ios目录下 mount -o loop /opt/ios/CentOS-6.7-x86_64-bin-DVD1.iso /app/ios 二 配置本地yum源 cd /etc/yum.repos.d/   #进入yum配置目录 vi  CentOS-…

oracle版本:Oracle 11g 本地电脑配置:安装内存8G 64为操作系统win8.1 下载Oracle 11g压缩包: 1 网址http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html 如果上面链接失效www.oracle.com官网在menu菜单下打开Developers->develper resources 接着在导航栏technologies->databases打开滑…

1.说明 由于在centos7的yum仓库中没有mysql,centos7用mariadb替代了mysql. mariadb是mysql源代码的一个分支, mysql被ORACLE闭源,而mariadb则开源,两者的功能是相同. 2.step1:安装,启动 $ yum -y install mariadb mysql-devel mariadb-server $ systemctl start mariadb //systemctl stop mariadb 停止mariadb $ system…

一.Spark支持的安装模式: 1.伪分布式(一台机器即可) 2.全分布式(至少需要3台机器) 二.Spark的安装配置 1.准备工作 安装Linux和JDK1.8 配置Linux:关闭防火墙.主机名.免密码登陆 2.安装部署Spark 解压:tar z-xvf spark-2.1.0-bin-hadoop2.7.tgz -C /root/trainning/ 核心配置文件 :con/spark-env.sh (cp spark-env.sh.template spark-env.sh) (伪分…

1.zookeeper简单介绍 zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,我所了解到的主要的使用场景有两个 (1).微服务注册中心(Dubbo较常用Zookeeper做注册中心). (2).分布式锁.2.下载zookeeper 下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/ 3.单机模式安装配置 ZooKeeper的安装包括单机模式安装,以及集群模式安装.单机模式较简单,是指只部署一个zk进程,客户端直接与该zk进程进…

1.remote一体 这种存储方式需要在远端服务器运行一个mysql服务器,并且需要在Hive服务器启动meta服务.这里用mysql的测试服务器,ip位192.168.1.214,新建hive_remote数据库,字符集位latine1; $ vim hive-site.xml <configuration>      <property>     <name>hive.metastore.warehouse.dir</name>     <valu…

一.总概: 本文介绍了MySQL高可用性的实现方案MHA,MHA由Node和Manager组成,Node运行在每一台MySQL服务器上,不管是MySQL主服务器,还是MySQL从服务器,都要安装Node.主从安装keepalived ,实现虚拟ip漂移,程序不用改IP自动切换. 二.环境 1.操作系统:centos 6.5 64位 2.数据库:   MySQL-5.6.17-1.el6.x86_64.rpm-bundle.tar 下载 3.MHA版本:mha4mysql-node-0.54-0.…

一.安装前规划 1.安装软件版本:mysql-cluster-gpl-7.4.13-linux-glibc2.5-x86_64.tar.gz 2.安装规划: 主机名 Ip地址 角色 db01 192.168.100.131 管理节点 db02 192.168.100.132 SQL节点 db03 192.168.100.133 SQL节点 db04 192.168.100.134 data节点 db05 192.168.100.135 data节点 3.配置/etc/hosts文件(所有节点):…

CentOS7安装MariaDB并配置主从同步 环境声明: 防火墙firewalld及SElinux均为关闭状态 主库节点:192.168.0.63 从库节点:192.168.0.64 配置主库节点: 前提:配置好yum软件安装源 yum install mariadb-server vim /etc/my.cnf 主库节点mariadb配置文件/etc /my.cnd [mysqld] binlog-ignore-db=mysql binlog-ignore-db=information_sc…

1.安装pcre apt-get update (apt-get install openssl libssl-dev  ==>可能需要安装的依赖包) apt-get install libpcre3 libpcre3-dev   #yum -y groupinstall "Development Tools" // 安装gcc等linux开发工具   2.解压 # tar zcvf haproxy-1.5.8.tar.gz # cd haproxy-1.5.8 # make T…

机器信息 192.168.119.129 主 192.168.119.128 从 配置host[两台机器] vim /etc/hosts 添加 192.168.119.129 rocketmq-nameserver1 192.168.119.129 rocketmq-master1 192.168.119.128 rocketmq-nameserver2 192.168.119.128 rocketmq-master1-slave 下载[两台机器] http://rocketmq.apache.…

个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别.网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导.本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践,终于填好各种坑,安装配置成功,遂记录下本文,供大家参考. 1. 相关概念 Hive Metastore…

hive 是JAVA写的的一个数据仓库,依赖hadoop.没有安装hadoop的,请参考http://blog.csdn.net/lovemelovemycode/article/details/9154121(hadoop集群安装配置). 下面将一下hive集群的安装配置步骤: 1 下载  hive-0.10.0.tar.gz; 2 将 hive-0.10.0.tar.gz解压到 hadoop 目录(如/home/hadoop/hadoop-1.0.4/hive-0.10.0); 3 进入/h…

MySql免安装版安装配置,附MySQL服务无法启动解决方案 mysql 5.6.17 绿色版(免安装)安装配置教程 [mysql] # 设置mysql客户端默认字符集 default-character-set=utf8 [mysqld] # 设置mysql的安装目录 basedir=C:\Program Files\Mysql\mysql-5.7.17-winx64 # 设置mysql数据库的数据的存放目录,必须是data,或者是//xxx/data datadir=C:\Program F…

JDK+Hadoop安装配置.单机模式配置 以下操作在SecureCRT里面完成 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firewalld 临时关闭防火墙,每次开机重新开启防火墙 systemctl disable firewalld 禁止防火墙服务. 2.传输JDK和HADOOP压缩包 SecureCRT [File]→[Connect SFTP Session]开启sftp操作 put …

一.Hive的简单使用 基本的命令和MySQL的命令差不多 首先在 /opt/datas 下创建数据  students.txt 1001 zhangsan 1002 lisi 1003 wangwu 显示有多少数据库: show databases; 使用某个数据库: use 数据库名称; 显示当前数据库下的表: show tables; 创建数据表 : create table student (id int,name string) ROW FORMAT DELIMITED FIELDS…

1:要想学习Hive必须将Hadoop启动起来,因为Hive本身没有自己的数据管理功能,全是依赖外部系统,包括分析也是依赖MapReduce: 2:七个节点跑HA集群模式的: 第一步:必须先将Zookeeper启动起来(HA里面好多组件都依赖Zookeeper): 切换目录,启动Zookeeper(master节点,slaver1节点,slaver2节点):./zkServer.sh start 第二步:启动HDFS(千万不要格式化了,不然肯定报错给你): 直接在slaver3节点启动:star…

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 一.hive安装 1.官网下载地址:http://hive.apache.org/downloads.html 下载后解压到指定目录,例如 /usr/local/hive # tar…

本博文的主要内容是: .复习HA相关 .MySQL数据库 .先在MySQL数据库中建立hive数据库 .hive的配置 以下是Apache Hadoop HA的总结.分为hdfs HA和yarn HA. 以上,是参考<Hadoop海量数据处理  技术详解与项目实战> 强烈建议,先看          Hive的JDBC接口实现(Eclipse环境配置) Hive+mysql安装 想说的是,hive只是个工具,包括它的数据分析,依赖于mapreduce,它的数据管理,依赖于外部系统. metas…

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据.它架构在Hadoop之上,总归为大数据,并使得查询和分析方便.并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.环境介绍: hadoop:3.2.0 jdk:1.8 Linux:centos7 mysql:5.6 1.mysql安装配置 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql…

一.MySQL的安装 Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS,而是存在关系型数据库里,hive默认用的是derby数据库来存储.即hive工作时,除了要依赖Hadoop,还要依赖关系型数据库. 注意:虽然我们能通过HDFS查看到hive有哪些数据库,有哪些表,以及表里的数据,但是,这不是元数据信息.HDFS最主要的是存储hive的数据信息. 之前遇到的问题:当退出后,切换到不同的目录来进…