前言 经过前三篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环境中需要用到的软件,确切的说是两款:VSFTP和SecureCRT. 闲言少叙,进入本篇的正题. 背景 这里简要说明下这两款软件的作用. 1.VSFTP这个从字面就能理解就是搭建FTP服务器用的,为什么要搭建FTP服务呢? 我相信,如果按部就班的按照我之前的文章全装Hadoop的童鞋会发现一个很繁琐…

原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] 安装环境: [X] 编译hadoop [1] 拷贝hadoop-2.2.0-src.tar.gz到hadoop84的/opt目录下,然后执行: [2] YUM安装依赖库: [3] 下载并安装配置:protobuf [4] 下载并配置:findbugs [5] 构建二进制版Hadoop [X] 安装…

不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口) 但是,要注意的是,因为在amabri集群里啊,10000端口默认是给了oozie的. 然而,我上述的博客,是当时手动临时给的10000端口给kafka-manager,所以,对此,我这里改变端口,具体如下. 一.给基于Ubuntu14.04的ambari集群里的kafka安装基于web的kafk…

kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载.安装和配置(图文详细教程)绝对干货 一.安装前准备 1.1 示例机器 二. JDK7 安装 1.1 下载地址 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html [hadoop@hadoop1 ~]$ cd [hadoop@hadoop1 ~]$ rz -bash: rz: command not fo…

ElasticSearch-5.3.1集群环境搭建,安装ElasticSearch-head插件,安装错误解决 说起来甚是惭愧,博主在写这篇文章的时候,还没有系统性的学习一下ES,只知道可以拿来做全文检索,功能很牛逼,但是接到了任务不想做也不行, leader让我搭建一下分布式的ES集群环境,用来支持企业信用数据的检索,刚开始宝宝一脸蒙逼,只是之前自己本地搭建过一个测试玩过,开发任务也是忙的不行, 一直也没时间好好的研究一下,惭愧.<Elasticsearch服务器开发>已经备好,只能边学边开…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 hadoop的编译和安装是直接在一台机器上搞得,姑且nn1机器. 全程切换到root用户下操作 1.hadoop的一些资源在这里:https://www.lanzous.com/b849710/   密码:9vui [hadoop@nn1 zk_op]$ su - roo…

前言 本系列文章记录了本人学习k8s集群搭建的过程,从k8s基本组件的安装.到部署mysql服务到k8s集群.部署web项目到k8s集群以及安装可视化界面管理工具kuboard. 因为k8s的组件安装需要依赖于docker,所以这里先从docker的安装步骤讲起. 安装虚拟机 安装过程略. 这里我用的是 centos7.9 版本: docker安装 安装官方yum源 yum install -y yum-utils   yum-config-manager --add-repo https://…

折腾了这么久,hbase终于装好了 ------------------------- 上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 在安装之前,查了一下资料,关于hbase与hadoop兼容性的. 最开始看hadoop的时候,在好像慕课网上看的,hadoop全家桶之间的兼容性问题(以前被java web的各种jar包坑坏了的Java菜鸟,心理有点小阴影…

Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hbase安装及简单操作 现在到hive了. hive安装比较简单. 下载个包,解压,配置hive-site.xml.hive-env.sh 就好了. 1.下载hive包 官网:http://mirror.bit.edu.cn/apache/hive/hive-2.3.3/ 2.解压到hadoop目录 -bin.tar.gz #解…

现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化发展,要全面发展.就让大数据组的同事,给我们报表组的同事培训了下大数据方面的知识,主要是hive的.就这样就开启了新的篇章,虽然比较腹议,自此大数据离线数据计算的工作就交给我们报表组了,我们还是欣然的接受了,我自己还是相当想向大数据方面发展的. 自此,开启了大数据开发的篇章. -----------…

docker-compose安装rabbitmq集群(主从集群--->镜像集群) yls 2020/5/11 创建docker-compose.yml 文件 version: '3' services: rabbitmq1: image: rabbitmq:3.8.3-management container_name: rabbitmq1 restart: always hostname: rabbitmq1 ports: - 15683:15672 - 5683:5672 volumes:…

达梦数据库大规模并行集群MPP 2节点安装部署   1.环境准备   os 数据库版本 ip mpp角色 centos7.x86 DM8 192.168.30.100 mpp1 centos7.x86 DM8 192.168.30.101 mpp2   2.配置系统环境       创建安装用户.组      groupadd dintsall useradd -g dinstall -d /home/dmdba -s /bin/bash dmdba passwd dmdba       修改系…

1) 拉下来 ES集群  spark集群 两套快速部署环境, 并只用docker跑起来,并保存到私库. 2)弄清楚怎么样打包 linux镜像(或者说制作). 3)试着改一下,让它们跑在集群里面. 4) 弄清楚 Dockerfile 怎么制作镜像 docker-compose 里面的启动项 及 与 mesos里面怎么对应起来. 5)写一个spack程序 及在ES环境里造少量数据查一下. ES 环境docker :参考贴子来跑的,https://cloud.tencent.com/developer…

Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客会简单涉及到滚动编辑,融合镜像文件,目录的空间配额等运维操作简介.话不多少,直接上命令便于以后查看.   一.查看hadf的帮助信息 [yinzhengjie@s101 ~]$ hdfs Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND where COMMAND is one of: dfs…

本文只写具体的搭建过程,具体原理请看官网文档.国内博客都是基本上都是通过tomcat搭建的solr,本文是通过内部集成的jetty容器搭建. 一.zookeeper集群搭建 1.安装JAVA环境,版本1.8 2.下载zookeeper地址 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/ 3.zookeeper集群安装方式自己百度吧,都差不多. 4.zookeeper一个重要的脚本,zkCli.sh,通过它可以交互式的对z…

zookeeper集群 +kafka 集群部署 1.Zookeeper 概述: Zookeeper 定义 zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目 Zookeeper 工作机制 Zookeeper是–个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册, 一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些客户端做出相应的反应. 也就是说Zookeeper =文件系统+…

ZooKeeper安装模式主要有3种: 单机版(Standalone模式)模式:仅有一个ZooKeeper服务 伪集群模式:单机多个ZooKeeper服务 集群模式:多机多ZooKeeper服务 1 单机版(Standalone模式)安装 ZooKeeper官网下载地址:http://zookeeper.apache.org/releases.html#download 如图所示进行操作: 注意一点,如果不想当小白鼠,请务必下稳定版(stable release),非稳定版安装时可能出各种未知的…

目录 简介 1. 副本集 1.1 MongoDB选举的原理 1.2 复制过程 2. 分片技术 2.1 角色 2.2 分片的片键 2.3 片键分类 环境介绍 1.获取软件包 2.创建路由.配置.分片等的相关目录与文件 3. 配置服务器部署mongodb 4. 配置复本集 5. 分片服务部署 6. 将分片配置为复制集 7. 路由服务部署 8. 启动分片功能 9.实现分片功能 10. 启用数据库分片并进行测试 11. 查看分片验证 11. 副本节点是否已同步数据 简介 1. 副本集 开启复制集后,主节…

BDubbo 系列(07-4)集群容错 - 集群 [toc] Spring Cloud Alibaba 系列目录 - Dubbo 篇 1. 背景介绍 相关文档推荐: Dubbo 集群容错 - 实战 Dubbo 官网源码解读 - 集群 在 Dubbo 的整个集群容错流程中,首先经过 Directory 获取所有的 Invoker 列表,然后经过 Routers 根据路由规则过滤 Invoker,最后幸存下来的 Invoker 还需要经过负载均衡 LoadBalance 这一关,选出最终调用的 In…

通过memberlist库实现gossip管理集群以及集群数据交互 概述 memberlist库的简单用法如下,注意下面使用for循环来执行list.Join,原因是一开始各节点都没有runing,直接执行Join会出现连接拒绝的错误. package main import ( "fmt" "github.com/hashicorp/memberlist" "time" ) func main() { /* Create the initial…

1,安装Tomcat:和在windows下安装是一样的. 安装tomcat:上传后解压: tar -zxvf apache-tomcat-7.0.88.tar.gz -z:代表.gz格式的压缩包,-x:释放包,-v:在执行命令时显示详细的信息,-f:指定包文件名 [root@localhost  /usr/local]# mkdir -p tomcats     (在/usr/local目录下新建个目录tomcats,里面用于存放其他解压后的tomcat文件) [root@localhost  …

安装JDK rpm包下载地址(jdk-7u17 ): http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u17-oth-JPR # yum install wget -y JDK下载地址: http://download.oracle.com/otn/java/jdk/7u17-b02/jdk-7u17-linux-x64.rpm?Auth…

solrCloud的搭建可以有两种方式:使用solr内嵌的jetty来搭建:使用外部web容器tomcat来搭建.对于使用jett来搭建参考solr官方的手册照着做肯定ok,下面我主要讲的是如何使用tomcat来搭建solrCloud. 废话不多说,开始我们的工作! 1.搭建tomcat单机版solr 见我的上一篇博文solr安装-tomcat单机版 2.安装配置zookeeper 具体下载,安装,配置不详细说了,很简单.只列出我的关键配置项,如下: clientPort=4181 server…

先干两件大事!先干两件大事!先干两件大事! 1.关闭selinux [root@mycentos ~]# vi /etc/selinux/config SELINUX=disabled 2.关闭防火墙和关闭开机启动 [root@mycentos ~]# systemctl stop firewalld.service[root@mycentos ~]# systemctl disable firewalld.service 开启防火墙: systemctl start firewalld.ser…

0x00 Redis简介 Redis是一款开源的.高性能的键-值存储(key-value store).它常被称作是一款数据结构服务器(data structure server). Redis的键值可以包括字符串(strings)类型,同时它还包括哈希(hashes).列表(lists).集合(sets)和 有序集合(sorted sets)等数据类型. 对于这些数据类型,你可以执行原子操作.例如:对字符串进行附加操作(append):递增哈希中的值:向列表中增加元素:计算集合的交集.并集与差…

1.下载安装单机版:  https://github.com/MSOpenTech/redis/releases/download/win-3.2.100/Redis-x64-3.2.100.msi 2.下载安装ruby      https://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.6-x64.exe 3.下载linux版用于获取 redis-trib.rb       http://www.redis.net.cn/d…

版本elk均为6.3+centos7.0 准备工作 官网下载elk6.3的linux环境的压缩包,sftp上传 下载对应的head插件sftp上传到指定目录 tar.gz文件解压 tar -zxvf filename -C dirname zip文件 安装zip软件 unzip filename -d dirname 1.root用户不能启动elasticsearch   参考:http://www.cnblogs.com/ding2016/p/6879584.html https://www.…

项目架构 Ego-search-web 服务的消费者,ego-rpc 服务提供者 建立 ego-search-web 项目 继承:ego 依赖:ego-common   ego-rpc-service pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="…

在网上看了不少关于Kubernetes的视频,虽然现在还未用上,但是也是时候总结记录一下,父亲常教我的一句话:学到手的东西总有一天会有用!我也相信在将来的某一天会用到现在所学的技术.废话不多扯了.... 一.前期准备 1.k8s-master01:master主服务器(存在单点故障) 2.k8s-node01.k8s-node02:2个工作节点 3.Harbor:私有仓库(简单记录搭建Harbor私服仓库) 4.Router:软路由(由于kubeadm是存放在谷歌云的,国内无法访问,K8S集群搭…

一.集群介绍 1.  什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求. SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心. 它有几个特色功能: 1)集中式的配置信息…