目录 Hive中文乱码问题 hive和hbase的版本不一致 Ambari hive插入Hbase出错 Hive0.12和Hbase0.96不兼容,重新编译hive0.12.0 hiveserver不能正常启动 hive连接eclipse不能复杂查询,不能加where Hive中文乱码问题 众所周知,我们都是使用mysql存储hive的元数据,可以执行带有中文注释的建表文件,解决中文乱码的问题: 要把元数据库设定为latin1而把存储中文的数据表的编码设定为utf-8格式,即存储在hive里的表…
一.使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWFyb25oYWRvb3A=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">    二.使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL 2.3 HBase中的数…
在CentOS系统中防火墙默认是阻止3306端口的,我们要是想访问mysql数据库,我们需要这个端口,命令如下: 1 /sbin/iptables -I INPUT -p tcp --dport 3036 -j ACCEPT 我们需要保存我们的操作,命令如下: 1 /etc/rc.d/init.d/iptables save 此时我们可以查看端口的状态,命令如下: 1 /etc/init.d/iptables status 当然如果你打开其他端口也一样,只需要把这个端口号换乘你需要的端口号即可.…
1.前提条件 centos7 且内核版本高于3.10, 可通过命令: uname -r 查看内核版本 2.利用yum 安装docker 安装一些必要的系统工具: sudo yum install -y yum-utils device-mapper-persistent-data lvm2 添加软件源信息: sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.r…
原文连接:http://hi.baidu.com/zwfec/item/64ef5ed9bf1cb3feca0c397c 红色的是命令 SQLSTATE[HY000] [2003] Can't connect to MySQL server on 'XXX' (13) 我可以真见识了 SELinux 的利害了, 这个问题让我找了好长时间的原因: 结果是 SELinux 不让 httpd 访问外网,昨天安装 Chrome 浏览器,结果不让 在根帐号下运行 ..... SQLSTATE[HY000]…
背景: OA系统数据库是mysql,引擎为myisam,可以直接通过拷贝数据库文件的方式进行备份 创建只备份数据库的任务: 创建保存mysql数据库备份文件的目录mysqlbak mkdir /home/mysqlbak 编辑shell脚本 vi /usr/sbin/bakmysql 加入如下内容: #关闭mysql数据库服务 /opt/lampp/lampp stopmysql #创建以当前日期为名称的目录 cd /home/mysqlbak time=$(date '+%Y%m%d') mk…
参考地址:http://www.cnblogs.com/htian/p/5728599.html 去官网找到PCRE,并下载http://www.pcre.org/wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre2-10.21.tar.gz解压:tar -xzvf pcre.tar.gz进入pcre目录:cd pcre安装pcre./configure --prefix /usr/local/pcre2makemake…
目录: 准备工作 Centos安装 mysql Centos安装Hadoop Centos安装hive JDBC远程连接Hive Hbase和hive整合 Centos安装Hbase 准备工作: 配置/etc/hosts 127.0.0.1 localhost localhost.localdomain 192.168.0.120 centos 集中修改/etc/profile export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/ export JRE_HOME=…
问题导读 1. Centos7如何安装配置? 2. linux网络配置如何进行? 3. linux环境下java 如何安装? 4. linux环境下SSH免密码登录如何配置? 5. linux环境下Hadoop2.7 如何安装? 6. linux环境下Mysql 如何安装? 7. linux环境下Hive 如何安装? 8. linux环境下Zookeeper 如何安装? 9. linux环境下Kafka 如何安装? 10. linux环境下Hbase如何安装? 11. linux环境下KYLIN…
大家都知道,hive的SQL操作非常方便,但是查询过程中需要启动MapReduce,无法做到实时响应. hbase是hadoop家族中的分布式数据库,与传统关系数据库不同,它底层采用列存储格式,扩展性极高,响应时间也很快,当业务变化大时,可以作为mysql的补充. 幸运的是作为hadoop家族中比较成熟的两个组件,hive和hbase可以进行互操作,在hive可以创建基于hbase的外部表,这样既可以用到hbase的高效响应,也可以用到hive SQL的高效操作. -- 创建基于hbase动态列…