引言: Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍怎样搭建Hive的开发測试环境. 1. 什么是Hive? hive是基于Hadoop的一个数据仓库工具,能够将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,能够将sql语句转换为MapReduce任务进行执行. 其长处是学习成本低,能够通过类SQL语句高速实现简单的MapReduce统计.不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 2.  依照Hive的准备条件 2.1  Hadoop集…

摘要: Redis是眼下业界很受到欢迎的一个内存数据库,一般用作系统的中间缓存系统,用以提升总体商业系统的吞吐量和响应速度.本文将简要介绍安装的主要过程以及给出一个简要的測试代码. 1.  系统环境和版本号说明 操作系统选用Ubuntu 14.04, Redis的版本号选取眼下的最新稳定版本号2.8.9. client选用了Redis的Java版本号jedis 2.4.2. 2.  Redis的安装步骤 a. 下载Redis的安装包 wget http://download.redis.io/r…

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 一.hive安装 1.官网下载地址:http://hive.apache.org/downloads.html 下载后解压到指定目录,例如 /usr/local/hive # tar…

基于MySQL提供的Yum repository安装MySQL5.6 1:下载YUM包 1.1切换到root用户: 1)su - root 2)wget http://dev.mysql.com/get/mysql57-community-release-el6-8.noarch.rpm 下载完成后如图(1)所示 图(1) 2:安装YUM包 2.1查看此包要安装的文件 1)rpm -qpl mysql57-community-release-el6-8.noarch.rpm 图(2) 2)安装r…

測试结论 mysql版本号 5.1     表类型: innodb, row_format=compact (这是默认的行格式)     插入超过10个blob, blob的数据量非常小(<768字节), 插入成功.     插入超过10个blob, blob的数据量非常大(>768字节), 插入失败:报 Got error 139 from storage engine.     注意,假设mysqlserver版本号是5.1, innodb_file_format选项不存在, 也就无从谈起…

Etcd是一个比較新的分布式协调框架,由CoreOS的开发团队开发,如今才仅仅到0.4.6版本号,还没公布1.0版本号 我看了一下GitHub上作者们的提交记录,如今应该还在如火如荼的开发以及改动Bug中,预计要有点耐心再等一等了... 并且2014年7月25号CoreOS(server操作系统)公布了自己的第一个稳定版本号,当中包含: Linux 3.15.2 Docker 1.0.1 Support on all major cloud providers, including Racksp…

近期在做 压力測试工具,除了apache的ab測试工具外,发现webbentch工具也不错,这里简介下这两个工具. 一.webbentch安装: wget http://blog.s135.com/soft/linux/webbench/webbench-1.5.tar.gz     tar zxvf webbench-1.5.tar.gz     cd webbench-1.5     make && make install 假设没有安装ctags.则安装的时候会报错.ctags的安装…

在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时,需要同步mysql表中的注释,以下脚本可以生成hive表字段注释修改语句. 注:其他关系型数据库如:oracle 可以通过相同的思路,读取元数据,修改脚本语法实现. 使用: 在mysql元数据库:information_schema 中执行以下语句 SELECT CONCAT('alter table ', TABLE_NAME, ' CHANGE COLUMN ', COLUMN_NAME, ' ', COLUMN_NAME,…

博主最近在研究接口API自动化测试,之前设计的通过excel来实现自动化测试的框架实际使用中还是有很多局限性 这次博主的思路是: 1 搭建接口API管理平台 支持数据库方便维护 2 自动化测试平台可直接使用平台整理的接口请求参数 3 以web格式形成可视化的界面展示接口测试数据,包括返回值,测试结果 这次博主首先整理的是sqlalchemy,一开始是安装,博主这边有安装包 根据操作系统下载相应压缩文件,解压后进入文件路径下执行安装命令 # python setup.py install 安装成功…

,一.安装 下载地址:https://pan.baidu.com/s/1bpo5mqj 安装方法:https://www.cnblogs.com/clschao/articles/10022040.html 操作:ctrl+/  多行注释, ctrl+shift+/  能取消注释 二.用户登陆 1.点击连接 2.输入用户信息 3.连接成功 三.可视化数据库内容简介 1.连接成功后,可以看见我们写的本地测试的玩意. 2.双击‘本地测试’我们可以看到一下内容 四.新建库 五.新建表 1.ER图表显示…