Hbase 配置文件: hbase-site.xml <configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://cdh-master:9…

hbase是bigtable的开源山寨版本.是建立的hdfs之上,提供高可靠性.高性能.列存储.可伸缩.实时读写的数据库系统.它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作).主要用来存储非结构化和半结构化的松散数据.与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力. HBase中的表一般有这样的特点: 1.  大:一个表可以有上亿行…

根据以上图分析得出以下结论: 1. 在上面的hbase配置下,顺序和随机写记录(每条记录1K),每写入86-87M(大小可配)左右数据生成一个磁盘文件(store file). 2. 在上面的hbase配置下,生成4个磁盘文件(store file)后,再生成1个磁盘文件(store file)会触发合并操作(Minor compactions),将4个磁盘文件(store file)合并成一个磁盘文件(store file),同时写入数据生成一个磁盘文件(store file). 3. 在上面…

第二组:文件存储读过程记录 第一组:一个列,四个分区,随机ID 测试列和分区 测试程序或命令 导入文件大小(Mb) 导入文件个数(个) 是否触发flush事件(布尔) 是否触发compact事件(布尔) 触发compact结果 分区一 ./testrand.sh 1310 87 2000000 87 1 是 否 产生一个87M文件. 分区二 产生一个87M文件. 分区三 产生一个87M文件. 分区四 产生一个87M文件. 分区一 ./testrand.sh 1310 87 2000000 (重复…

1.1.1 测试记录 第一组:一个列,一个分区,顺序ID 测试列和分区 测试程序或命令 导入文件大小(Mb) 导入文件个数(个) 是否触发flush事件(布尔) 是否触发compact事件(布尔) 触发compact结果 分区一 ./seqData.sh 130 86 86 1 是 否 产生一个87M文件. 分区一 ./seqData.sh 130 86 ./seqData.sh 131 86 ./seqData.sh 132 86 ./seqData.sh 133 86 ./seqData.s…

启动hbase的时候: -cdh4.5.0/bin$ hbase shell cat: /home/hadoop/hbase--cdh4.5.0/target/cached_classpath.txt: 没有那个文件或目录 // :: WARN conf.Configuration: hadoop.native.lib is deprecated. Instead, use io.native.lib.available HBase Shell; enter 'help<RETURN>' fo…

环境:centos6.2 Hadoop2.2.0 hive0.12 hbase0.94 1>hadoop配好之后,跑任务老失败,yarn失败,报out of memory错误,然后怎么调整内存大小都不行,后来发现是can’t create new thread. 解决:在vi /etc/security/limits.conf 添加 hadoop - nofile 65535 hadoop - nproc  65535 2>yarn运行错误:mapreduce.shuffle set in y…

先安装hadoop1.2.1,见http://blog.csdn.net/jediael_lu/article/details/38926477 1.配置hbase-site.xml <property> <name>hbase.zookeeper.quorum</name> <value>master,slave1,slave2</value> </property> <property> <name>hba…

前面给大家讲了怎么安装Hadoop,肯定会有人还是很迷茫,装完以后原来就是这个样子,但是怎么用,下面,先给大家讲下Hadoop简介:大致理解下就OK了 hadoop是一个平台,提供了庞大的存储和并行计算的能力. Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.Hadoop的核心内容是HDFS和MpReduce.Hadoop项目结构有一下9中: Common:是Hadoop其他子项目提供支持的常用工具. Avro:是用于数据序列化的系统. MapReduce:是一种编程模型,用于…

nutch2.2.1集成HBase0.94.25 (详见:http://duguyiren3476.iteye.com/blog/2085973 ) 1. 修改nutch的hbase配置 //将自己的hbase配置copy到nutch配置中 cp /home/hbase/conf/hbase-site.xml /home/nutch/conf/ 2. 使用hbase0.92.2-jar代替原来的hbase文件(在/home/nutch/runtime/local/lib中) 原因:(我使用的hb…

/×××××××××××××××××××××××××××××××××××××××××/ Author:xxx0624 HomePage:http://www.cnblogs.com/xxx0624/ /×××××××××××××××××××××××××××××××××××××××××/ 配置HBase0.94.25 前提: 配置Hadoop(http://www.cnblogs.com/xxx0624/p/4166095.html) 配置zoopkeeper(http://www.cnblogs…

先安装hadoop1.2.1,见http://blog.csdn.net/jediael_lu/article/details/38926477 1.配置hbase-site.xml <property> <name>hbase.zookeeper.quorum</name> <value>master,slave1,slave2</value> </property> <property> <name>hba…

爱的技术可以应用到实际生活生产,做艺术向往的东西不腻和音乐. 现将前期手里面的一个项目做一个大致的总结,与大家一起分享.交流.进步. 项目如今正在线上执行,项目名--基于Hadoop的数据分析综合管理平台. watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWFyb25oYWRvb3A=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt=&quo…

Ycsb下载地址:https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase0.94.11,因此下载ycsb-0.1.4.tar.gz 1．  解压缩ycsb: sudo tar -zxvf ycsb-0.1.4.tar.gz -C /usr/local sudo chmod -R cs ycsb-0.1.4.tar.gzycsb-0.1.4.tar.gz 2.将hbase/conf中的hbase-site.xml复制到ycsb /hb…

Hadoop 1.1.2 和Hbase 0.94.11版本配置 测试时ip  172.19.32.128 这个版本需要把/etc/hosts的aa-vm改成127.0.0.1,也就是和localhost一致.否则hbase会出现master在初始化(出现此问题还可能是时间不同步) 1.更新apt Sudo apt-get update Sudo apt-get install vim 2.安装ssh,设置无密码登陆 Sudo apt-get install openssh-server Ssh…

hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解 一,环境: 1,主机规划: 集群中包括3个节点:hadoop01为Master,其余为Salve,节点之间局域网连接,可以相互ping通. 机器名称 IP地址 hadoop01 192.168.1.31 hadoop02 192.168.1.32 hadoop03 192.168.1.33 三个节点上均是CentOS6.3 x86_64系统,并且有一个相同的用户hadoop.hadoop01做为master配置N…

先决条件:     1)java环境,须要安装java1.6以上版本号     2)hadoop环境.因为HBase架构是基于其它文件存储系统的,因此在分布式模式下安装Hadoop是必须的,可是,假设执行在单位价格模式下,此条件能够省略.Hadoop-1.2.1的安装方法參考 hadoop-1.2.1安装方法具体解释 注意:安装时要注意Hadoop和HBase之间的版本号关系,假设不匹配.非常可能会影响HBase系统的稳定性. 本帖教程採用的hadoop是hadoop-1.2.1,hbase採用…

一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各类百科就行了.我选择这样的方案主要是基于以下考虑: 1.可扩展,虽然   一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各类百科就行了.我选择这样的…

本篇先介绍HBase在伪分布式环境下的安装方式,然后将MapReduce编程和HBase结合起来使用,完成WordCount这个例子. HBase在伪分布环境下安装 一.   前提条件 已经成功地安装了jdk1.6和hadoop1.2.1. Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方法见:Hadoop1.2.1安装——单节点方式和单机伪分布方式 二.   环境 VMware® Workstation 10.04 Ubuntu14.04 32位 Java JDK 1.6.0 h…

一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各类百科就行了.我选择这样的方案主要是基于以下考虑: 1.可扩展,虽然只是实验环境,但是以后在项目中是要应用到生产中的,随着数据量的增大,需要的硬件设备能够方便的加入进来,所以选择了分布式的方案中最具人气的hadoop+hbase组合 2.数据来源兼容,nutch2以后集成了gora和tika,可以方…

PhyLab1.0需求规格说明文档 1. 概述 1.1 项目概述 软剑攻城队小组于2015学年开发了PhyLab物理实验网站,一经发布好评如潮.网站的核心功能是提供预习报告和自动数据处理,而后加入了论坛模块,提供了一定的社交功能.前续版本总体满足了目标用户的需求,但是在实际使用过程中存在数据计算错误.模板无法生成.按钮失效等Bug,流失了大量的二次用户.目前开发项目为PhyLab的2.0版本,α阶段的开发中心主要是在完善实验内容.实现未完成功能.提高前端用户体验,并加入诸如实时数据处理结果预览.…

1. ZooKeeper的安装: ZooKeeper是一个分布式的服务框架.可用于处理分布式的一些数据管理问题,如统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等. 步骤如下: a. 准备,下载ZooKeeper,可以从官网下载到,在这里给出一条链接:http://mirror.esocc.com/apache/zookeeper/zookeeper-3.4.5/ b.执行 tar -zxvf zookeeper-3.4.5.tar.gz,会出现zookeeper-3.4.5这个文…

/×××××××××××××××××××××××××××××××××××××××××/ Author:xxx0624 HomePage:http://www.cnblogs.com/xxx0624/ /×××××××××××××××××××××××××××××××××××××××××/ Hadoop伪分布式配置过程: Hadoop:1.2.1 Hbase:0.94.25 nutch:2.2.1 Java:1.8.0 SSH:1.0.1j tomcat:7.0.57 zookeeper:3.4.6…

一.团队分工 组员 工作比例 参与范围 王诚荣 17% 原型设计,需求规格说明书整合,LOGO设计 马祎特 22% PPT制作,演讲,博客模板,用户描述 陈斌 21% 评审表格制作,引言,项目描述,功能描述,用户特征,场景描述 洪康 10% 用例图,后端调研,需求分析讨论 杨慧德 9% 需求规格说明书模板,说明书讨论 张康凌 7% 市场分析,评审问题记录 金云琨 7% PPT辅助设计,原型设计辅助 刘紫明 7% 后端调研,产品订单v1.0 二.产品订单v1.0 功能名 优先级 功能描述 用户描述…

目录 测试计划.过程和结果 后端测试--单元测试与覆盖率 后端测试--压力测试 展示部分数据 平均数据 前端测试--小程序v2.0 授权登录与权限检查 新功能的测试 兼容性测试 性能测试 前端测试--网页端v1.0 功能测试表格 兼容性测试 回答课程组问题 测试中发现的bug 场景测试 回归测试 测试矩阵 出口条件 测试计划.过程和结果 后端测试--单元测试与覆盖率 如下图:我们对所有接口设计了单元测试,共62个测试,结果:全部通过.代码覆盖率: models:94% controllers:9…

不吐不快 因为项目需求开始接触OAuth2.0授权协议.断断续续接触了有两周左右的时间.不得不吐槽的,依然是自己的学习习惯问题,总是着急想了解一切,习惯性地钻牛角尖去理解小的细节,而不是从宏观上去掌握,或者说先用起来(少年,一辈子辣么长,你这么着急合适吗?).好在前人们已经做好了很好的demo,我自己照着抄一抄也就理解了大概如何用,依旧手残党,依旧敲不出好代码.忏悔… WHAT? 项目之中实际使用OAuth2.0实现是用的Spring Security OAuth2.0,一套基于Spring S…

swift 语言是苹果公司在2014年的WWDC大会上发布的全新的编程语言.Swift语言继承了C语言以及Objective-C的特性,且克服了C语言的兼容性问题.Swift语言采用安全编程模式,且引入了多种新功能,使得编程工作更加简便,灵活! 2015年6月9日苹果又一次给所有开发之者带来了一个惊喜,那就是今年年底swift讲开源,者队iOS开发着来说无疑是一个值得兴奋的消息,可是就在这短短的几个月里面swift吸引了越来越多的开发者去学习,不仅仅是iOS开发者. 然而,在我们学习和使用swi…

想到平时想用adb 我就忍不住去翻开笔记,脑子记不住,不好使,不知道大家有没有这个想法呢,不管你有没有,反正我有了,ttm,太烦人了,于是乎,我就开始给自己写个需求文档, 这就是我写的,产品需求,合理不,管他合不合理,我看着能舒服就可以, 其实做出来的真实的效果图差很远,待会会给你们展示的,这里我要说的是电量和帧率展示这个版本没有坐进来,没有考虑pass值不存在的情况,因为有些APP或许没有, 既然有了需求,那么开始写代码吧.我选择python3.6.1 (备注:这里不支持python2.7)…

目录 目录 1 1. 约定 1 2. 安装Scala 1 2.1. 下载 2 2.2. 安装 2 2.3. 设置环境变量 2 3. 安装Spark 2 3.1. 部署 2 3.2. 下载 3 3.3. 安装 3 3.4. 配置 3 3.4.1. 修改conf/spark-env.sh 3 3.4.2. 修改conf/slaves 3 4. 启动Spark 3 5. 安装Shark 4 5.1. 下载 4 5.2. 安装 4 5.3. 配置 4 5.3.1. 修改shark-env.sh 4 6.…

***********************************************声明***********************************************************************  原创作品,出自 "深蓝的blog" 博客,欢迎转载,转载时请务必注明出处,否则追究版权法律责任. 表述有错误之处.请您留言或邮件(hyldba@163.com)指明,不胜感激. 本文转载必须保留此处:http://blog.csdn.net/hu…