Ambari 没有简单的 .tar.gz 结尾的包(反正我找到).apache 官网提供的安装方法,是要下载源码,自己编译成安装包安装.说明文档还不够细.编译的时候是用 maven,照理来说不应该会失败的.但是我总是失败,报找不到类的错误.maven 的仓库中明明是有的.遇到各种奇葩问题.实际生产环境,也不会是编译成安装包再安装的.还好, hortonworks 提供了 ambari 的安装方法,而且还很详细.以下是在 centos7 上的安装步骤. 在安装之前,按照官方文档,需要做如下配置(我

#!/bin/sh #配置用户sudo权限(参考/etc/sudoers文件,在/etc/sudoers.d/新建一个用户配置文件,注意要注销) #需要在/etc/sudoers末尾追加:sfapp ALL=(ALL) NOPASSWD:ALL #JDK配置,三台机器已配置,略 #修改hostname和加入主机映射(/etc/hosts) #配置网络/etc/sysconfig/network #配置无密登录 #ssh免秘钥登录需在sfapp用户下完成: #在10.202.107.27 cnsz

一.集群软硬件环境准备: 操作系统:  centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05台PC作为工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05 其中ep-bd01作为主节点,用于安装ambari-server. 二.配置操作系统,安装必备软件 1,安装CentOS 7操作系统:环境配置,安装必备软件. 2,安装配置NTP服务,保证集群时间保持同步,以防止由于时间不同而造成掉线故障

安装步骤总体说明 1.安装以前需要先规划服务器,一台主机多台从机.主从需要设置时间同步和免密. 2.建立离线源,因在线安装速度很慢,所以需要建立离线源. 3.在主机上安装Ambari,进入系统后,挂接从机安装软件. 可以先在主机上建立离线源,安装ambari后,再配置从机也可以.但是域名最好先规划好. 规划服务器(这里用四台服务器来进行配置) 在每台服务器上配置域名访问 vi /etc/hosts    添加以下内容 172.18.100.71 master1 172.18.100.70 age

概念了解 Ambair介绍 Apache Ambari是一个用于支持大数据软件供应 管理与监控软件.它也是一个分布式软件,分为Ambair-Server与Ambari-Client两个部分.在生产环境下一般单独用一台服务器安装ambari-server来确保服务的稳定性.然后需要安装大数据服务组件的服务器上均安装ambari-client组件,server发送命令与client进行交互完成任务. HDP介绍 HDP是hortonworks公司的Hadoop发行版,其中包括大多数Hadoop生态下

一.准备工作: 基本工具 yumrpmscpcurlwgetpdsh前几个一般系统都自带了,pdsh需要自己装 yum install pdsh 2.配置hosts vim /etc/hosts 10.*.*.120  master master.hadoop.test 10.*.*.121  dn1 dn1.hadoop.test 10.*.*.122  dn2 dn2.hadoop.test 10.*.*.123  dn3 dn3.hadoop.test 3.配置ssh免登录 选定maste

1.首先要下载它们的安装包,别尝试着在yum来下,特别慢,最好的方式是通过建立本地资源的方式来安装. http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos6-rpm.tar.gz http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.ta

制作本地yum源 安装步骤: 先建立本地yum源(Ambari和HDP的) 1. 先安装 ambari 然后http://localhost:8080 登录进去,设置 hdp的源链接. 2. 安装HDP 注意一定要对应好版本 以下是 tar.gz的下载地址. ambari安装包 Ambari Repositories http://docs.hortonworks.com/HDPDocuments/Ambari-2.1.0.0/bk_Installing_HDP_AMB/content/_hdp

一.配置主机和节点机器之间SSH无密登录 多台外网服务器配置时,需要在/etc/hosts中把本机的IP地址设置为内网IP地址 http://2d67df38.wiz02.com/share/s/0JpZYU2X7kl626aE730Q_Flq3daBjm08rAnl2oLpli2uMOfo 二.为每台主机关闭iptables,SELinux,启动ntpd服务 三.安装Mysql,JDK 查看linux发行版本 cat /etc/redhat-release 从网站http://dev.mysq

安装 Ambari,最后是为了用它部署 hadoop 集群.安装时默认使用的是 hortonworks 远程的资源,用它部署集群时,需要下载 Hadoop.Hive.HBase 的安装包,速度很慢.我部署时,老是失败.所以按照官方文档,建一个本地资源库.预先下载好包,放在一台电脑上,然后把这台电脑配置成 repository. 1. 下载下面的包 wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.

本文为原创文章,转载请注明出处,谢谢 zookeeper 单机安装配置 1.安装前准备 linux系统(此文环境为Centos6.5) Zookeeper安装包,官网https://zookeeper.apache.org/,演示版本zookeeper-3.4.7.tar.gz 2.解压:tar -zxvf zookeeper-3.4.7.tar.gz 3.修改配置文件 cd zookeeper-3.4.7/conf cp zoo_sample.cfg zoo.cfg 复制模板配置文件为zoo.

环境: CentOS7安装两个节点:master.slave1.并配置ssh无密码登录. 步骤: 获取 Ambari 的公共库文件(public repository): wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo 将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/.拷贝完后,我们需要获取该公共库的所有的源文件列表.

Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的

1. Neo4j简介 Neo4j是一个用Java实现的.高性能的.NoSQL图形数据库.Neo4j 使用图(graph)相关的概念来描述数据模型,通过图中的节点和节点的关系来建模.Neo4j完全兼容ACID的事务性.Neo4j以“节点空间”来表 达领域数据,相对于传统的关系型数据库的表.行和列来说,节点空间可以更好地存储由节点关系和属性构成的网络,如社交网络,朋友圈等. 2 neo4j版本介绍 neo4j版本种类比较多,有开源的社区版本,也有企业版本.其中社区版本包括了很多neo4j的基本特性,

1.yum install pdsh    这玩意一般系统都没带 2.检查下umask码,022是需要的 3.获取ambari的官方repo文件,并安装repo文件 wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.2.4.9/ambari.repo cp ambari.repo /etc/yum.repos.d yum install epel-release 4.检查repo是否正确安装 yum re

Hbase单机安装部署 http://blogxinxiucan.sh1.newtouch.com/2017/07/27/Hbase单机安装部署/ 下载Hbase Hbase官网下载地址 http://www.apache.org/dyn/closer.cgi/hbase/ 解压 tar -zvxf hbase-0.94.27.tar.gz cd hbase-0.94.27 配置 cd conf/ vi hbase-site.xml <configuration> <property&g

一.通过yum安装ambari-server 由于上一步我们搭建了本地源,实际上yum是通过本地源安装的ambari-server,虽然也可以直接通过官方源在线安装,不过体积巨大比较费时. 这里我选择头结点1作为安装ambari的服务器. yum install -y ambari-server 二.设置ambari-server ambari-server setup 安装过程大致需要4个步骤 1.选择是否自定义守护用户账号,选否 2.选择JDK版本,选哪个应该问题不大,选1(会自动下载安装包

安装ambari有两种方式,一是自己下载源码编译,另外一个是使用公共仓库 1 使用Public Respositories Step1: Download the Ambari repository on the Ambari Server host For Redhat/CentOS/Oracle:   cd /etc/yum.repos.d/   wget <ambari-repo-url>   For SUSE:   cd /etc/zypp/repos.d   wget <amb

在编译安装Ambari时候遇到了很多问题,现在记录一下 1 got error npm ERR! phantomjs@1.9.12 install while building ambari-web [ install: `node install.js` [ [exec] npm ERR! [ install script. [exec] npm ERR! This is most likely a problem with the phantomjs package, [exec] npm

单机安装hadoop ------------------------------------------------------------------ 操作系统:centos7 64 位 hadoop :2.6.5 jdk 我们之前安装了 官方的jdk 1.8 不是centos自带的jdk ------查看环境变量配置文件是否包含jdk环境变量 cat /etc/profile ---查看全局环境变量配置文件 su hadoopcat ~/.bash_profile ---查看局部环境变量配

关于什么是Kubernetes请看另一篇内容:http://www.cnblogs.com/boshen-hzb/p/6482734.html 一.环境搭建 master安装的组件有: docker etcd       可以理解为是k8s的数据库,存储所有节点.pods.网络信息 kube-proxy    提供service服务的基础组件 kubelet    管理k8s节点的组件,因为这台master同时也是nodes,所以也要安装 kube-apiserver   k8s提供API的接口