写在前面 抽空来更新一下大数据的玩意儿了,起初架构选型的时候有考虑Hadoop那一套做数仓,但是Hadoop要求的服务器数量有点高,集群至少6台或以上,所以选择了Clickhouse(后面简称CH).CH做集群的话,3台服务器起步就可以的,当然,不是硬性,取决于你的zookeeper做不做集群,其次CH性能更强大,对于量不是非常巨大的场景来说,单机已经足够应对OLAP多种场景了. 进入正题,相关环境: IP 服务器名 操作系统 服务 备注 172.192.13.10 server01 Ubunt…

Spark standalone安装-最小化集群部署(Spark官方建议使用Standalone模式)        集群规划:    主机        IP                    软件      进程    sc1        192.168.1.61    spark    Master.Worker    sc2        192.168.1.62    spark    Worker    sc3        192.168.1.63    spark    W…

NetCore在Linux上部署 工具:WMWare虚拟机,Wmware12,CentOS7ISO镜像,VS2017 1.安装虚拟机,过程略,网上一搜一大把 2.用VS2017建一个NetCore的Web项目,用命令行生成也可以,然后发布 3.搭建Linux下的NetCore运行环境 Linux下访问这个网站:https://www.microsoft.com/net/download/windows 点击红色的部分,然后跳转到另一个页面,同时下载文件 按照上面的步骤配置好NetCore SDK…

1. 环境准备 zookeeper3.4.12 mysql5.7 hive2.3.4 hadoop2.7.3 JDK1.8 hbase1.3.3 2. 集群规划 ip地址 机器名 角色 192.168.1.101 palo101 hadoop namenode, hadoop datanode, yarn nodeManager, zookeeper, hive, hbase master,hbase region server, 192.168.1.102 palo102 hadoop sec…

试验机操作系统:CentOS Linux release 7.2.1511 (Core) 本文的目的是教会大家快速搭建redis集群,完了再深入学习. 试问如果不上手试验,看的资料再多有个毛用? 下载redis 下载网址:https://redis.io/download 写文章时最新版本为:redis-4.0.1.tar.gz 可以先下载到windows操作系统,然后拷贝到centos. 下载成功后,在centos上创建一个目录,存放我们的软件,我比较喜欢放在/soft目录下. [root@l…

系统环境 Docker > centos7.5 此镜像已经安装了jdk1.8和maven3.6.0 如果你想知道这个基础镜像的具体情况, 参考此文: https://www.cnblogs.com/imyjy/p/10100712.html 第一件事, 造一个包含rocketmq的docker容器镜像 运行基础镜像: docker run -itd -p 19876:9876 --name docker <基础镜像id> /bin/bash 查看容器列表: docker ps -a 进入…

最近针对中铁一局项目,跟事业部讨论之后需要我们的KF平台能够接入一些开源的数据库,于是这两天研究了一下Redis的原理. 1. Redis的数据存储原理及简述 1.1Redis简述 Redis是一个基于内存且支持持久化的key-value的NoSQL数据库,其中每个key和value都是使用对象表示的,具有以以下特征:多样数据类型.持久化.主从同步.它支持存储的value类型包括string(字符串).list(链表).hash(哈希).set(集合)和zset(有序集合).这些数据类型都支持p…

1. 安装Redis版本:win-3.0.501https://github.com/MSOpenTech/redis/releases页面有,我下载的是zip版本的:Redis-x64-3.0.501.zip:最好也下载源代码的zip包. 将redis解压,如解压到d:\rediscluster\redis(压缩包内无文件夹) 2. 安装Ruby http://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.4-x64.exe 这…

一.环境信息及安装前准备 主机角色(内存不要小于1G): 软件及版本(百度网盘链接地址和密码:链接: https://pan.baidu.com/s/17bYc8MRw54GWCQCXR6pKjg 提取码: f6w8)  #如果失效可以发送邮件到13693200275@163.com 部署前操作: 关闭防火墙,关闭selinux(生产环境按需关闭或打开) 同步服务器时间,选择公网ntpd服务器或者自建ntpd服务器 二.ES集群安装配置 1.安装jvm依赖环境(其他节点相同操作) elk运行需要…

主节点部署: docker run -d --name hfish-master -p : -p : -p : -p : -p : -p : -p : -p : -p : -p : -p : -p : -p : --restart=always imdevops/hfish:latest 客户端子节点部署 docker run -d --name hfish-client -p : -p : -p : -p : -p : -p : -p : -p : -p : -e CLUSTER_IP=mas…