一.所有节点上使用yum安装配置NTP服务yum install ntp -y 二.选定一台节点作为NTP server, 192.168.58.11修改/etc/ntp.conf vim /etc/ntp.conf 1,注释掉restrict 127.0.0.1 ,修改为: restrict 192.168.58.11 mask 255.255.0.0 nomodify notrap 2,使本地时钟可作为时钟源,添加如下两行: server 127.127.1.0 fudge 3,屏蔽默认服务…

配置root用户免密互访(为了方便,各台系统中使用统一的证书文件)一.安装Open-SSH 1,查询系统中是否安装了openssh [root@]# opm -qa |grep ssh 如已安装,则列出下面类似的软件包 openssh-server-.4p1-.el7.x86_64 openssh-.4p1-.el7.x86_64 libssh2--.el7_2..x86_64 openssh-clients-.4p1-.el7.x86_64 如果没有列出openssh,则安装 [root@]#…

一.集群软硬件环境准备: 操作系统:  centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05台PC作为工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05 其中ep-bd01作为主节点,用于安装ambari-server. 二.配置操作系统,安装必备软件 1,安装CentOS 7操作系统:环境配置,安装必备软件. 2,安装配置NTP服务,保证集群时间保持同步,以防止由于时间不同而造成掉线故障…

注意未经说明,所有本文中所有操作都默认需要作为root用户进行操作. 一.安装zmodem,用于远程上传下载文件,安装gedit,方便重定向到远程windows上编辑文件(通过xlanuch) [root@]# yum install lrzsz -y [root@]# yum install gedit -y 二.关闭防火墙 [root@]# systemctl disable firewalld [root@]# systemctl stop firewalld 三.关闭SELinux 在系…

转载自:https://blog.weiyigeek.top/2021/7-30-623.html 简述 Kubernetes(后续简称k8s)是 Google(2014年6月) 开源的一个容器编排引擎,使用Go语言开发,它支持自动化部署.大规模可伸缩.以及云平台中多个主机上的容器化应用进行管理.其目标是让部署容器化的应用更加简单并且高效,提供了资源调度.部署管理.服务发现.扩容缩容.状态 监控.维护等一整套功能, 努力成为跨主机集群的自动化部署.自动化扩展以及运行应用程序容器的平台,它支持一些…

配置NTP服务.标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了. 这个在安装初期,不是必须的,只要保证各机器的时间同步就行,使用如下命令可以查看时间是否同步: [root@cdh1 ~]# date;ssh cdh2 date; 2019年 04月 12日 星期五 16:19:58 CST 2019年 04月 12日 星期五 16:19:59 CST 时间差1-2秒钟就没事. 确保每台机器的ntpd服务都是启动状态,否则后面CDH安装完成后,主机状态会是错误状态. syste…

CentOS(Community Enterprise Operating System,中文意思是:社区企业操作系统)是Linux发行版之一,现在有一大部分服务器在使用此操作系统:SNMP(简单网络管理协议)能够使网络管理员提高网络管理效能,及时发现并解决网络问题以及规划网络的增长.网络管理员还可以通过SNMP接收网络节点的通知消息以及告警事件报告等来获知网络出现的问题.本文主要介绍如何在CentOS系统中安装配置SNMP服务. 工具/原料   CentOS操作系统 方法/步骤     使用S…

本文记录使用ambari-server安装HDP的过程,对比于使用cloudera-manager安装CDH,不得不说ambari的易用性差的比较多~_~,需要用户介入的过程较多,或者说可定制性更高. 首先.安装之前,在每个主机节点上执行下面命令,已清除缓存,避免一些repo原因导致的安装失败. yum clean all 下面开始安装过程: 一.安装过程: 1,登录ambari-server管理界面,用浏览器访问http://ep-bd01:8080,默认用户名口令皆为admin. 2,点击按…

一. 安装PXF3.3.0.0,这里所安装的pxf的包文件都包含在apache-hawq-rpm-2.3.0.0-incubating.tar.gz里面下面步骤都是以root身份执行这里注意,pxf插件要用到tomcat服务,必须使用安装包里面的7.0.62, 不能安装或升级为 tomcat8,这会造成依赖的catalina.jar包 版本不匹配,以致pxf启动! 安装时由于pxf的包都是el6版本的,但是我用的centos7,所以rpm带参数“--nodeps”以忽略RPM命令对依赖包的检测.…

一.HAWQ基本安装自带gpfdist协议 gpfdist是HAWQ支持的外部表访问协议之一,这是hawq自带的一个简单的集成http服务命令. 在我的前述安装hawq之后,gpfdist命令位于hawq的bin目录之中./opt/gpadmin/apache-hawq/bin/gpfdist gpfdist使用说明很简单,且看: [root@ep-bd01 ~]# /opt/gpadmin/apache-hawq/bin/gpfdist --help gpfdist -- file distr…

一. HAWQ2.3.0环境准备[全部主机节点]: 1, vim /etc/sysctl.conf,编辑如下内容: kernel.shmmax= kernel.shmmni= kernel.shmall= kernel.sem= kernel.sysrq= kernel.core_uses_pid= kernel.msgmnb= kernel.msgmax= kernel.msgmni= net.ipv4.tcp_syncookies= net.ipv4.ip_forward= net.ipv4…

一.安装并使用MariaDB作为Ambari.Hive.Hue的存储数据库. yum install mariadb-server mariadb 启动.查看状态,检查mariadb是否成功安装 systemctl start mariadb systemctl status mariadb 二.配置mariadb 1,首先停止MariaDb 服务的运行 systemctl stop mariadb 2,编辑/etc/my.cnf 在[mysqld]段下,添加如下几行行配置: transacti…

Docker是一个开源的应用容器引擎,基于Go语言并遵从Apache2.0协议开源. Docker可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化.容器是完全使用沙箱机制,相互之间不会有任何接口(类似iPhone的app),更重要的是容器性能开销极低. 文章就不介绍如何去安装和使用docker了.不会的请大家自行谷歌/百度去学习下~ 最新版的镜像地址,在我的阿里云仓库里面,文章末尾,可以直接使用命令docker pull获取…

版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/220 来源:腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段.近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍.Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具…

在去年的.NET Core微服务系列文章中,初步学习了一下Consul服务发现,总结了两篇文章.本次基于Docker部署的方式,以一个Demo示例来搭建一个Consul的示例集群,最后给出一个HA的架构示范,也会更加贴近于实际应用环境. 一.示例整体架构 此示例会由一个API Gateway, 一个Consul Client以及三个Consul Server组成,有关Consul的Client和Server这两种模式的Agent的背景知识,请移步我之前的文章加以了解:<.NET Core微服务之…

为了保证生产环境CAS(Central Authentication Service)认证服务的高可用,防止出现单点故障,我们需要对CAS Server进行集群部署. CAS的Ticket默认是以Map的方式存储在JVM内存中的,多个tomcat之间无法共享,因此我们可以使用MemCached或者Redis来存储Ticket.MemCached的方式官方已经提供了解决方案,我们这里使用的是Redis,具体实现可以参考CAS的模块:cas-server-integration-memcached.…

Dubbo是Alibaba开源的分布式服务框架,我们可以非常容易地通过Dubbo来构建分布式服务,并根据自己实际业务应用场景来选择合适的集群容错模式,这个对于很多应用都是迫切希望的,只需要通过简单的配置就能够实现分布式服务调用,也就是说服务提供方(Provider)发布的服务可以天然就是集群服务,比如,在实时性要求很高的应用场景下,可能希望来自消费方(Consumer)的调用响应时间最短,只需要选择Dubbo的Forking Cluster模式配置,就可以对一个调用请求并行发送到多台对等的提供方…

在CentOS 6.7 x64上搭建Hadoop 2.6.3完全分布式环境,并在DigitalOcean上测试成功. 本文假设: 主节点(NameNode)域名(主机名):m.fredlab.org 子节点(DataNode)域名(主机名):s1.fredlab.org s2.fredlab.org s3.fredlab.org Tip:单个NameNode或DataNode内存大于1G,在512MB内存的VPS上测试不成功. 一.配置SSH互信 1.master机上生成公私钥:id_rsa和i…

随着图像识别和深度学习领域的迅猛发展,GPU时代即将来临.由于GPU处理深度学习算法的高效性,使得配置一台搭载有GPU的服务器变得尤为必要. 本文主要介绍在Ubuntu 16.04环境下如何配置TensorFlow(GPU support)框架,实验所用的显卡为GeForce GTX 1080ti(OC),显存11G,频率1569-1708MHz,CUDA核心3584个,Compute Capability为6.1.下面详细介绍安装配置的详细步骤. 关于本人实验室所用硬件的配置清单,请访问. 1…

分布式集群搭建结构 双Tracker 2组Group 轮询存储策略 Keepalived+Nginx高可用 Nginx缓存 4个存储节点 一. 集群规划清单 1.安装清单 软件名称 版本 百度云盘存放名称 FastDFS 5.11 fastdfs-5.11.zip FastDFS-Nginx-module 无 fastdfs-nginx-module-master.zip LibFastCommon 1.0.36 libfastcommon-1.0.36.zip nginx 1.10.3 ngi…

一.zookeeper超出最大连接限制:ambari server检测到critical错误, zookeeper server on ep-bd01:2181 连接被积极拒绝,翻看主机上zookeeper的日志 tail -n200 zookeeper-zookeeper-server-ep-bd01.out,发现都是如下错误: -- ::, [myid:] - WARN [NIOServerCxn.Factory::NIOServerCnxnFactory@] - Too many conn…

1.安装组件 yum install bind bind-utils -y 2.启动域名服务 service named start chkconfig named on ss -unlt |grep 53 查看域名服务是否正常启动 3.配置主域名服务器 3.1 配置named.conf文件 修改 options 下的listen-on port 53 {  any ; }; 原来为127.0.0.1 监听所有 allow-query { any; } ; 允许所有人访问,也可以只需要指定的网段…

本章学习内容: 1.基于Linux平台的Mysql项目场景介绍 1.1.互联网各类网站.购物网站.门户网站.博客系统.IDC,云平台,VPS,虚拟主机空间,论坛,嵌入式. 2.mysql数据库运行环境准备-最优配置 2.1.如何查看官方文档了解环境要求 2.2.安装虚拟机环境与操作系统 2.3.操作系统最有配置9大步骤 2.4.操作系统YUM环境准备 2.5.Mysql所需磁盘与分区最规范的配置 3.如何下载mysql数据库 4.linux平台下二进制文件方式安装mysql 4.1.安装前配置…

vite.config.ts配置 配置路径处理模块 安装ts的类型声明文件 yarn add @types/node -D 通过配置alias来定义路径的别名 resolve: { alias: { '@': path.resolve(__dirname, 'src'), '@coms': path.resolve(__dirname, 'src/components') } } 配置自动在浏览器打开 server: { open: true } 配置scss全局变量 安装依赖 npm inst…

安装配置步骤: rpm -ivh /opt/bak/vsftpd-2.2.2-11.el6.x86_64.rpm --本地安装vsftpd ll /etc/vsftpd/  --查看vsftpd的配置文件 里面一共有四个配置文件: vsftpd.conf 为主配置文件, ftpusers为黑名单用户配置文件,通常我们的系统用户还有根用户都是放在这个配置文件里面的,因为这些用户的权限很大,如果使用ftp服务可能造成一些问题, user_list为用户列表文件(可以通过在配置文件vsftpd.con…

   坚信并为之坚持是一切希望的原因. (不足之处,欢迎批评指正!) --------------------环境:Windows server2008R2虚拟机两台---------------------- ----------------------版本:ArcGIS 10.2 for Server------------------------- 1 安装前准备: (1)集群配置,至少准备操作系统一致的两台计算机(可以是虚拟机). (2)在两台计算机上修改防火墙设置,以打开 ArcGIS…

1.安装环境说明 安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.13 一共有3台机器,一个是主节点192.168.111.10,两个是从:192.168.111.11,192.168.111.12 2.操作系统环境准备 2.1 配置SSH免密码登录 主节点里root用户登录执行如下步骤 ssh-keygen cd ~/.ssh/ cat id_rsa.pub >>authorized_keys ~/.ssh ~/.ssh/authorized_keys 先在从节…

kubernetes是google公司基于docker所做的一个分布式集群,有以下主件组成 etcd: 高可用存储共享配置和服务发现,作为与minion机器上的flannel配套使用,作用是使每台 minion上运行的docker拥有不同的ip段,最终目的是使不同minion上正在运行的docker containner都有一个与别的任意一个containner(别的minion上运行的docker containner)不一样的IP地址. flannel: 网络结构支持 kube-apiser…

Apache Kafka是一种颇受欢迎的分布式消息代理系统,旨在有效地处理大量的实时数据.Kafka集群不仅具有高度可扩展性和容错性,而且与其他消息代理(如ActiveMQ和RabbitMQ)相比,还具有更高的吞吐量.虽然它通常用作pub/sub消息传递系统,但许多组织也将其用于日志聚合,因为它为发布的消息提供持久存储. 您可以在一台服务器上部署Kafka,也可以构建一个分布式的Kafka集群来提高性能.本文介绍如何在多节点CentOS 7服务器实例上安装Apache Kafka. 先决条件:…

#!/bin/sh #配置用户sudo权限(参考/etc/sudoers文件,在/etc/sudoers.d/新建一个用户配置文件,注意要注销) #需要在/etc/sudoers末尾追加:sfapp ALL=(ALL) NOPASSWD:ALL #JDK配置,三台机器已配置,略 #修改hostname和加入主机映射(/etc/hosts) #配置网络/etc/sysconfig/network #配置无密登录 #ssh免秘钥登录需在sfapp用户下完成: #在10.202.107.27 cnsz…