一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各类百科就行了.我选择这样的方案主要是基于以下考虑: 1.可扩展,虽然只是实验环境,但是以后在项目中是要应用到生产中的,随着数据量的增大,需要的硬件设备能够方便的加入进来,所以选择了分布式的方案中最具人气的hadoop+hbase组合 2.数据来源兼容,nutch2以后集成了gora和tika,可以方…

一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各类百科就行了.我选择这样的方案主要是基于以下考虑: 1.可扩展,虽然   一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各类百科就行了.我选择这样的…

/×××××××××××××××××××××××××××××××××××××××××/ Author:xxx0624 HomePage:http://www.cnblogs.com/xxx0624/ /×××××××××××××××××××××××××××××××××××××××××/ Hadoop伪分布式配置过程: Hadoop:1.2.1 Hbase:0.94.25 nutch:2.2.1 Java:1.8.0 SSH:1.0.1j tomcat:7.0.57 zookeeper:3.4.6…

Ycsb下载地址:https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase0.94.11,因此下载ycsb-0.1.4.tar.gz 1．  解压缩ycsb: sudo tar -zxvf ycsb-0.1.4.tar.gz -C /usr/local sudo chmod -R cs ycsb-0.1.4.tar.gzycsb-0.1.4.tar.gz 2.将hbase/conf中的hbase-site.xml复制到ycsb /hb…

本篇先介绍HBase在伪分布式环境下的安装方式,然后将MapReduce编程和HBase结合起来使用,完成WordCount这个例子. HBase在伪分布环境下安装 一.   前提条件 已经成功地安装了jdk1.6和hadoop1.2.1. Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方法见:Hadoop1.2.1安装——单节点方式和单机伪分布方式 二.   环境 VMware® Workstation 10.04 Ubuntu14.04 32位 Java JDK 1.6.0 h…

Hadoop 1.1.2 和Hbase 0.94.11版本配置 测试时ip  172.19.32.128 这个版本需要把/etc/hosts的aa-vm改成127.0.0.1,也就是和localhost一致.否则hbase会出现master在初始化(出现此问题还可能是时间不同步) 1.更新apt Sudo apt-get update Sudo apt-get install vim 2.安装ssh,设置无密码登陆 Sudo apt-get install openssh-server Ssh…

系统:ubuntu14.04 一.hadoop安装 ssh免密码登陆详情见上一篇博客. 解压hadoop1.2.1到某个目录下,这里解压到ubuntu下载目录下(注意没必要使用管理员权限) 在hadoop1.2.1 conf目录下的core-site.xml添加一下内容: <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000<…

1.起初使用ycsb对hbase进行benchmark,分别在100%写的情况下检测写性能:在100%读的情况下检测读的性能.实验数据如下: 2.新版本的habse写性能竟然不如老版本.!!!.于是我从头梳理了hbase的原理和新老版本的配置,参数等等.认为新版本的读写性能应该比旧版本好,于是不甘心,换了hbase的自带的PE工具进行压测. 3. 在两个版本的habse下进行,     ./hbase/bin/hbase org.apache.hadoop.hbase.PerformanceEv…

 在win10使用mysql8.0.11的zip包进行配置时,搜到的教程很多坑,特此总结成功配置的方法. 1.下载非安装的zip包   mysql 8.0.11 64位 2.解压zip包 将下载的zip压缩包,解压在要安装的位置,如:D:\mysql,其下的文件如下 3.建立my.ini文件 在mysql的文件夹下建立my.ini文件,里面的内容为 [mysqld] # set basedir to your installation path basedir=D:/mysql # set da…

Hbase从0.94.11升级到stable的1.4.9版本: 升级思路: hadoop1.1.2    hbase 0.94.11                             ↓ hadoop1.1.2    hbase 0.96.0-hadoop1                             ↓ hadoop1.1.2    hbase 0.98.0-hadoop1                             ↓ Hadoop2.2.0    hbase…