过程问题: make: gcc:命令未找到 解决: yum -y install gcc 一.环境和版本: Linux环境:CentOS 7.6 libfastcommon版本:1.0.39 FastDFS版本:V5.11 fastdfs-nginx-module版本:V1.2 nginx版本:1.12.2 二.搭建步骤: 1.搭建FastDFS集群 (1)环境准备(在两台服务器上分别操作) yum -y install pcre pcre-devel yum install -y zlib-d

一.linux下安装Elasticsearch(单机) 1.软件下载 下载地址:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0 2.软件安装 将下载的软件上传到linux中并解压 # 解压到指定文件夹 tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module/ 修改解压后的文件名 mv elasticsearch-7.8.0 es 创

一.redis概述 1.1.目前redis支持的cluster特性: 1):节点自动发现. 2):slave->master 选举,集群容错. 3):Hot resharding:在线分片. 4):进群管理:cluster xxx. 5):基于配置(nodes-port.conf)的集群管理. 6):ASK 转向/MOVED 转向机制. 1.2.redis cluster 架构 1)redis-cluster架构图 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使

近期为了分析国内航空旅游业常见安全漏洞,想到了用大数据来分析,其实数据也不大,只是生产项目没有使用Hadoop,因此这里实际使用一次. 先看一下通过hadoop分析后的结果吧,最终通过hadoop分析国内典型航空旅游业厂商的常见安全漏洞个数的比例效果如下: 第一次正式使用Hadoop,肯定会遇到非常多的问题,参考了很多网络上的文章,我把自己从0搭建到使用的过程记录下来,方便以后自己或其他人参考. 之前简单用过storm,适合实时数据的处理.hadoop更偏向静态数据的处理,网上很多hadoop的

随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题.我们在一个项目上注册了很多服务,在进行运维时,需要时刻关注服务的运行状态,统一管理.统一配置.今天我们就来看看如何使用C# ,利用开源对分布式服务做协调. 在对分布式的应用做协调的时候,主要会碰到以下的应用场景: 业务发现(service discovery) 找到分布式系统中存在那些可用的服务和节点 名字服务 (name service) 通过给定

当下Linux运维技术越来越受到企业的关注和追捧, 在某些企业, 尤其是牵涉到电子商务和电子广告类的网站,通常会要求作负载均衡和高可用的Linux集群方案.那么如何实施Llinux集群架构,才能既有效保证网站健康运行,又能节省运维成本呢?以下是根据本人几年的运维经历,简单梳理下自己的一点感悟. 1) 机房的选择如果有自己公司的机房那是再好不过的了:如果没有,建议放在BGP机房内托管,如果有选择的话,最好是选择带有硬件防火墙的机房,这样在安全方面也有保障: 网站如若是放在IDC机房托管,而机房最前

系统环境:CentOS 7 JDK版本:jdk-8u191-linux-x64 MYSQL版本:5.7.26 Hadoop版本:2.9.0 Hive版本:2.3.4 Host Name Ip User/Pass Namenode 192.168.2.3 root/root. Datanode1 192.168.2.5 root/root. Datanode2 192.168.2.6 root/root. 安装JDK: https://www.cnblogs.com/java-h/p/111272

在上一片博客中我们讲了Mongodb数据库中分片集群的主要原理. 在本篇博客中我们主要讲描写叙述分片集群的搭建过程.配置分片集群主要有两个步骤.第一启动全部须要的mongod和mongos进程. 第二步就是启动一个mongos与集群通信.以下我们一步步来描写叙述集群的搭建过程. 图1-1  MongoDB分片集群中的组件 图 1-2 由实例分片集群构成的进程全貌 备注:以上两者图片均引自于Kyle Banker著 丁雪丰译<MongoDB 实战> 2.1 创建分片文件夹 备注:此处于创建复制集

首先说明,本文记录的是博主搭建的3节点的完全分布式hadoop集群的过程,环境是centos 7,1个nameNode,2个dataNode,如下: 1.首先,创建好3个Centos7的虚拟机,具体的操作可以参考网上其他教程,这个给个链接<windows环境安装VMware,并且安装CentOS7 虚拟机> 2.完成虚拟机的java环境的搭建,可以参考我的博客<centos7 安装jdk 1.8> 3.关闭或者禁用防火墙, systemctl  stop firewalld.ser

Linux下搭建Lotus Domino 集群 本文内容是Linux平台下Lotus Domino服务器部署案例(http://chenguang.blog.51cto.com/350944/1334595)的另一个模块,所以大家首先要有以上基础之后然后继续实验.集群是 Lotus Domino Server 提供的最重要特性之一.对于任何使用 Domino 服务器的组织,让用户能够持续访问它们的数据库是至关重要.Domino 集群是由两个以上的服务器组成的服务器组,它的功能包括为用户提供持续的

一.MySQL集群简介 1.什么是MySQL集群 MySQL集群是一个无共享的(shared-nothing).分布式节点架构的存储方案,其目的是提供容错性和高性能. 数据更新使用读已提交隔离级别(read-committedisolation)来保证所有节点数据的一致性,使用两阶段提交机制(two-phasedcommit)保证所有节点都有相同的数据(如果任何一个写操作失败,则更新失败). 无共享的对等节点使得某台服务器上的更新操作在其他服务器上立即可见.传播更新使用一种复杂的通信机制,这一机

此文档主要介绍在linux环境下安装redis并且搭建自己的redis集群 搭建环境: ubuntun 16.04 + redis-3.0.6 本文章分为三个部分:redis安装.搭建redis集群 一.本机安装redis: 1.下载redis: wget http://download.redis.io/releases/redis-3.0.6.tar.gz 2.redis安装解压.编译与安装:安装路径在root用户下的:~/softwares文件下 解压:先将安装包放到~/softwares

手把手教你搭建FastDFS集群(下) 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/u012453843/article/details/69172423 由于博客图片量大,篇幅太长,因此需要分上.中.下三篇博客来写,上篇和中篇我们已经一起学习完了,这篇博客我们一起学习下剩余部分. 一.配置反向代理 我们需要在两个跟踪器上安装nginx(也就是192.168.156.5和192.168

本文将讲述如何在Linux下搭建tomcat集群,以及搭建过程中可能的遇到的问题和解决方法.为简单起见,本文演示搭建的集群只有两个tomact节点外加一个apache组成,三者将安装在同一机器上:apache: 安装路径:/usr/local/apache2端口:90tomcat1:安装路径:/usr/local/apache-tomcat-6.0.33-1端口:6080tomcat2:安装路径:/usr/local/apache-tomcat-6.0.33-2端口:7080 2.所需要软件列表

(转) Linux下搭建tomcat集群全记录 2011-10-12 10:23 6133人阅读 评论(1) 收藏 举报 tomcatlinuxapacheinterceptorsession集群 1.预期目标 本文将讲述如何在Linux下搭建tomcat集群,以及搭建过程中可能的遇到的问题和解决方法.为简单起见,本文演示搭建的集群只有两个tomact节点外加一个apache组成,三者将安装在同一机器上: apache:  安装路径:/usr/local/apache2 端口:90 tomcat

软件架构理解 1FastDFS介绍 1.1什么是FastDFS FastDFS是用c语言编写的一款开源的分布式文件系统.FastDFS为互联网量身定制,充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传.下载等服务. FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文件为载体的在线服

VMWare9下基于Ubuntu12.10搭建Hadoop-1.2.1集群 下一篇:VMWare9下基于Ubuntu12.10搭建Hadoop-1.2.1集群-整合Zookeeper和Hbase 近期在学习Hadoop,把hadoop集群环境搭建的过程记录一下,方便查询,方案中有好多细节的东西,可能会比較啰嗦,对于新手来说也许更有帮助,闲话不多说,进入正题. 搭建5个节点的Hadoop集群环境 1.        环境说明 使用VMWare创建5台Ubuntu虚拟机,环境具体信息例如以下: 虚拟

Linux系统下安装Redis和Redis集群配置 一. 下载.安装.配置环境: 1.1.>官网下载地址: https://redis.io/download (本人下载的是3.2.8版本:redis-3.2.8.tar.gz) 1.2.>上传至Linux系统进行编译:/app/int44/tmp/xzh/Redis目录下 int44@/app/int44/tmp/xzh/Redis>tar xzvf redis-3.2.8.tar.gz   //执行解压命令tar xzvf redis

一.环境信息以及安装前准备 1.组件介绍 *Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读) Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据(暂时不用) *Logstash是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端:与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功

手把手教你搭建FastDFS集群(中) 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/u012453843/article/details/69055570 上一篇博客,我们一起搭建了storage和tracker集群,FastDFS集群还未搭建完毕,不过由于篇幅过长,因此需要分成两篇来写. 一.tracker和storage集群上传图片测试 由于目前还没有搭建完集群,因此我们暂且在tr