1.Hadoop简介 Hadoop是一个由Apache基金会所开发的开源分布式系统基础框架,使用Java开发,是处理大规模数据的软件平台. Hadoop可以从单一节点扩展到上千节点.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. 本次安装的是单点问题 2.安装Java JDK 由于Hadoop使用Java编写,要运行它我们需要安装Java运行环境 jdk下载地址:         http://www.oracle.com/technetwork/…

1 楔子 公司有个项目部署在 OpenShift 容器云平台上,出现问题较多,于是萌生在公司环境搭建现场仿真环境,由于资源没有生产环境多,就使用单节点简单模拟下 本文主要内容包括以下: 使用 Dnsmasq 实现 OpenShift 平台的内网域名解析 使用 oc 命令行工具初始化 OpenShift 3.9 单主机 2 规划 OpenShift基础服务约占4GB左右内存,由于使用 oc 进行初始化 OpenShift,所以不能集群扩容,又因为公司项目内存占用太大,所以与运维老哥协调了高配服务器…

在这里,直接使用最新的包进行学习.这里的安装也以前的版本不同,不过因为学习,这部分安装的区别不具体研究了. 这里也是摸索型的记录,所以会出现报错情况,然后针对这种方式进行解决,最后达到安装完成的效果. 关于elasticsearch7.2需要jdk11及以上,关于jdk在/etc/profile下自己安装环境. 1.去官网下载linux的下包 2.上传 使用rz上传 目录是/opt/data,用于存放安装包 3.解压 将其解压到/opt/software目录下 [root@caojun data…

Kafka集群搭建分为单节点的伪分布式集群和多节点的分布式集群两种,首先来看一下单节点伪分布式集群安装.单节点伪分布式集群是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成,如下图所示: 为了搭建单节点Kafka集群,需要依次安装如下软件:安装Java-->安装ZooKeeper-->安装Kafka. 一.安装Java 可以参考linux安装jdk,来进行安装 二.安装ZooKeeper 下载地址:https://www-us.apache.org/dist/zoo…

一.单节点 1.上传Kafka安装包到Linux系统[当前为Centos7]. 2.解压,配置conf/server.property. 2.1配置broker.id 2.2配置log.dirs 2.3配置zookeeper.connect 3.启动Zookeeper集群 备注:zookeeper集群启动时,先启动的节点因节点启动过少而出现not running这种情况,是正常的,把所有节点都启动之后这个情况就会消失! 3.启动Kafka服务 执行:./kafka-server-start.sh…

下载kafka,http://kafka.apache.org/downloads kafka下面的文件结构如下: 进入bin目录,启动kafka之前要先启动zookeeper ./zookeeper-server-start.sh ../config/zookeeper.properties   启动zookeeper 显示绑定了2181端口,我们来查看一下 zookeeper启动成功 接下来启动kafka ./kafka-server-start.sh ../config/server.pr…

[准备] 1.CentOS 7.6的镜像盘(下载地址:官网) 2.vertica-9.1.0-0.x86_64.RHEL6(下载地址:https://pan.baidu.com/s/1IjWBUTku_zMpccF2VQ9iDw 密码:qd7p) 3.外网环境 [安装过程] 1.安装CentOS 7.6minimal installation模式即可 注意!根目录“/”挂载的文件系统必须是ext4,不能是默认的xfs! 2.配置网络,能够访问外网 3.安装依赖包[root@localhost ~…

Hbase入门简介 HBase是一个分布式的.面向列的开源数据库,该技术来源于 FayChang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase…

 Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapReduce而开发的一系列上层应用软件. hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统.目前支持的超大文件的范围为从MB级至PB级. MapReduce是一种可用于数据处理的编程模型,基于MapReduce模型的程序本质上都是并行运行的.基于MapReduce…

Openstack Grizzily版本已经相当完善,根据官方文档安装基本不存在什么问题,但是想快速测试了解Openstack功能的用户非常多,devstack的安 装需要check最新的代码,时常碰到一些bug.这里记录一下我的单节点安装日志,尽量合并,优化一些项目以减少复杂性: 1.安装操作系统: CentOS6.4/RHEL,打开ssh, 配置root,先更新一下yum update 2.6.4的已经包含openstack-grizzly的源: # yum install -y http:…