HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. @hbase单机环境的搭建 1.首先配置好JDK,准备好hbase-0.98.12.1-hadoop2-bin.tar的压缩包,然后解压到相应目录中 2.进入conf/hbase-env.sh.文件,进行JDK的配置,将其中的JAVA_HOME指向到你Java的安装目录 3.编辑conf/hbase-site.xml文件,添…

系列文章:[建议从第二章开始] [ELK][docker][elasticsearch]1. 使用Docker和Elasticsearch+ kibana 5.6.9 搭建全文本搜索引擎应用 集群,安装ik分词器 [ELK][docker][elasticsearch]2.使用elasticSearch+kibana+logstash+ik分词器+pinyin分词器+繁简体转化分词器  6.5.4 启动   ELK+logstash概念描述 [ELK][ElasticSearch]3.es入门基…

Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 server.properties 五.启动kafka集群并测试 5.1创建Topic 5.2创建broker 5.3创建订阅者 六.kafka常用命令 6.1创建主题(4个分区,2个副本) 6.2查询 6.3发送和消费 6.4平衡leader 6.5kafka自带压测命令 Kafka 用途:在流…

一:ZooKeeper集群安装配置 1:解压zookeeper-3.3.2.tar.gz并重命名为zookeeper. 2:进入~/zookeeper/conf目录: 拷贝zoo_sample.cfg文件为zoo.cfg,并编辑如下: dataDir=/home/hadoop/zookeeper/data server.1=192.168.59.133:2888:3888 server.2=192.168.59.134:2888:3888 server.3=192.168.59.135:2888…

问题导读:1.配置的是谁的目录conf/hbase-site.xml,如何配置hbase.rootdir2.如何启动hbase?3.如何进入hbase shell?4.ssh如何达到互通?5.不安装NTP会发生什么情况?6.conf/hbase-env.sh文件的作用是什么?7.hbase.cluster.distributed的作用是什么?8.hbase.zookeeper.property.clientPort的作用是什么?9.hbase.zookeeper.property.dataDir…

NSQ是一个基于Go语言的分布式实时消息平台,它基于MIT开源协议发布,代码托管在GitHub.NSQ可用于大规模系统中的实时消息服务,并且每天能够处理数亿级别的消息,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构. NSQ具有分布式.去中心化的拓扑结构,该结构具有无单点故障.故障容错.高可用性以及能够保证消息的可靠传递的特征.NSQ非常容易配置和部署,且具有最大的灵活性,支持众多消息协议.另外,官方还提供了拆箱即用Go和Python库.如果读者兴趣构建自己的客户端的话,还…

 1.HBase安装配置,使用独立zookeeper,shell测试 安装步骤:首先在Master(shizhan2)上安装:前提必须保证hadoop集群和zookeeper集群是可用的 1.上传:用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到:/data/software/目录下 2.解压:tar -xzvf hbase-0.99.2-bin.tar.gz -C /usr/local/src/ 3.重命名:mv hbase-0.99.2 hbase 4.修改环境变…

一.前言 由于线下测试的需要,需要在公司线下(测试)环境搭建大数据集群. 那么CDH是什么? hadoop是一个开源项目,所以很多公司再这个基础上进行商业化,不收费的hadoop版本主要有三个,分别是: (1)Apache,最原始的版本,所有发行版均基于这个版本进行改进 缺点:版本部署混乱,部署过程繁杂,升级过程繁杂,兼容性差,安全性差 (2)CDH版本,在Apache基础上,进行了封装,处理了不同版本的兼容问题.有用户管理界面 (3)Hotnowork版本. 由于公司测试环境的内存有限(8G)…

一.操作系统需求及配置 # 1.1.操作系统推荐配置 4C*8G*40G磁盘 # 1.2.内核参数优化 # 系统参数需要留有swap空间,rabbitmq 启动进程用户打开文件数至少需要5万,yum安装时rabbitmq启动,源码安装时root启动.修改方法如下: # CentOS5/.X cat /etc/security/limits.conf * soft nofile * hard nofile * soft nproc * hard nproc * soft core * hard c…

1. 配置网络-ip地址设置静态 vi /etc/sysconfig/network-scripts/ifcfg-eth33 增加如下配置 ONBOOT=yes BOOTPROTO=static IPADDR=10.224.86.101 GATEWAY=10.224.86.1 NETMASK=255.255.255.0 DNS1=128.128.128.128 重启网卡 systemctl restart network 查看是否可以联网 ping baidu.com 2. 修改IP和主机名称的…