第一步,首先下载安装包:http://nifi.apache.org/download.html,博主下载的是1.4.0版本,直接下载的是编译后的文件. 第二步:将压缩包上传到服务器相应目录下,并且解压缩: tar -xzvf nifi-1.4.0-bin.tar.gz 第三步:修改配置文件的ip地址和端口号,默认端口为8080  /nifi-1.4.0/conf/nifi.properties 第四步:在/nifi-1.4.0/bin目录下,执行 sh nifi.sh start,这就完成了安…

一.solr简介 1.什么是solr? Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口.用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引:也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果. 2.solr特点 Solr是一个高性能,采用Java开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展并对查询性能进行了优化,并且提供了一个…

环境搭建以及etcd 单节点安装过程 安装之前的环境搭建 在进行k8s安装之前先把虚拟机准备好,这里准备的是三台虚拟机 主机名 ip地址 角色 master 172.16.163.131 master node1 172.16.163.130 node node2 172.16.163.129 node 然后进行环境部署 第一步:关闭防火墙 //在master虚拟机上执行以下命令 systemctl stop firewalld systemctl disable firewalld //在另外…

主题:Linux平台Oracle 12.1.0.2 单实例安装部署 环境:RHEL 6.5 + Oracle 12.1.0.2 需求:安装部署OEM 13.2需要Oracle 12.1.0.2版本作为资料库 1.下载介质 目前从OTN就可以直接下载到12.1.0.2的介质. linuxamd64_12102_database_1of2.zip linuxamd64_12102_database_2of2.zip 当然,我们也可以在MOS搜索12.1.0.2的对应p21419221下载介质,安装单…

一.准备环境 在配置hdfs之前,我们需要先安装好hadoop的配置,本文主要讲述hdfs单节点的安装配置. hadoop的单节点安装配置请参考:https://www.cnblogs.com/lay2017/p/9912381.html 二.安装hdfs 配置文件 hadoop安装准备好之后,我们需要对其中的两个文件进行配置 1.core-site.xml 这里配置了一个hdfs的namenode节点,以及文件存储位置 <configuration> <!-- nameNode:接收请…

一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题.而现在的hadoop更是形成了一个生态体系,如图: 上图大体展示了hadoop的生态体系,但并不完整.总而言之,随着hadoop越来越成熟,也会有更多地成员加入hadoop生态体系中. hadoop官方网站:http://…

Centos7 单节点安装 FastDFS + FastDHT服务 1.安装gcc(编译时需要) FastDFS是C语言开发,安装FastDFS需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc yum install -y gcc gcc-c++ 2.安装libevent(运行时需求) 若安装了桌面图形界面,就不需要安装:FastDFS依赖libevent库: yum -y install libevent libevent-devel 3.安装libfas…

达梦数据库大规模并行集群MPP 2节点安装部署   1.环境准备   os 数据库版本 ip mpp角色 centos7.x86 DM8 192.168.30.100 mpp1 centos7.x86 DM8 192.168.30.101 mpp2   2.配置系统环境       创建安装用户.组      groupadd dintsall useradd -g dinstall -d /home/dmdba -s /bin/bash dmdba passwd dmdba       修改系…

Hadoop: 单节点安装 目标 本文描述了如何安装和配置单机的 Hadoop,这样你可以使用 Hadoop MapReduce 和 Hadoop 分布式文件系统(HDFS)快速地尝试简单的操作. 前提 支持的平台 支持 GNU/Linux 作为开发平台和生产环境.经实战检验,Hadoop 能运行在包含 2000 台 GNU/Linux 机器组成的集群上. 同样支持 Windows,但后续步骤只适用于 Linux.要在 Windows 上安装 Hadoop,请查阅百科文档. 需要的软件 Linu…

 Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapReduce而开发的一系列上层应用软件. hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统.目前支持的超大文件的范围为从MB级至PB级. MapReduce是一种可用于数据处理的编程模型,基于MapReduce模型的程序本质上都是并行运行的.基于MapReduce…

hbase伪分布式安装(单节点安装) http://hbase.apache.org/book.html#quickstart   1.    前提配置好java,环境java变量     上传jdk1.7     rpm  -ivh  jdk 2.    上传hbase的压缩包,解压,配置hbase环境变量,修改配置文件(hbase-env.sh, hbase-site.xml)    2.1 解压    2.2 配置hbase环境变量 mv  hbase  /home cd  hbase/b…

[准备] 1.CentOS 7.6的镜像盘(下载地址:官网) 2.vertica-9.1.0-0.x86_64.RHEL6(下载地址:https://pan.baidu.com/s/1IjWBUTku_zMpccF2VQ9iDw 密码:qd7p) 3.外网环境 [安装过程] 1.安装CentOS 7.6minimal installation模式即可 注意!根目录“/”挂载的文件系统必须是ext4,不能是默认的xfs! 2.配置网络,能够访问外网 3.安装依赖包[root@localhost ~…

Flume NG概述: Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均衡.其中Agent包含Source,Channel和 Sink,三者组建了一个Agent.三者的职责如下所示: Source:用来消费(收集)数据源到Channel组件中 Channel:中转临时存储,保存所有Source组件信息 Sink:从Channel中读取,读取成功后会删除Channel中的…

Redis单节点安装 一.Redis的数据类型 string hash list set zset 二.安装 2.1.下载 wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2.2.解压 tar -xf redis-5.0.5.tar.gz 2.3.安装 make make install PREDIX=/opt/redis 2.4.修改环境变量 vim /etc/profile export REDIS_HOME:/opt/re…

mongo单节点环境安装(linux) 安装包 下载地址: (https://www.mongodb.com/download-center) 用户权限/目录 创建 dbuser用户 groupadd dbgroup useradd dbuser -m -d /home/dbuser -g dbgroup 部署目录 mkdir -p /opt/local chown -R dbuser:dbgroup /opt/local cd /opt/local 解压安装包 tar -xzvf mongod…

参考资料: kubernetes官网英文版 kubernetes官网中文版 环境.工具 阿里云学生机ECS.Ubuntu.docker.kubectl1.15.4.kubelet1.15.4.kubeadm1.15.4. 安装kubeadm.kubectl.kubelet 配置软件源 默认apt软件源里没有这几个软件,需要添加谷歌官方的软件源.但又由于官方提供的源无法访问,需要改为阿里的源 curl -s https://mirrors.aliyun.com/kubernetes/apt/doc…

参考资料: kubernetes官网英文版 kubernetes官网中文版 前言 这篇文章是比较久之前写的了,无聊翻了下博客发现好几篇博文排版莫名其妙的变了... 于是修改并完善了下.当初刚玩k8s的时候真的是踩坑踩到怕,官方的指引很多不能直接使用,然后百度上找到的很多资料都是直接搬运官网ε=(´ο｀*)))唉. 最后还是硬着头皮百度谷歌了很久才算入了门.在这里写下这篇文章帮助下其他孩纸. 准备 在撸起袖子开干之前最好是对k8s有点基本的认识,比如什么是kubelet,啥是kubectl,配置文…

Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms Required Software Installing Software Download Prepare to Start the Hadoop Cluster Standalone Operation Pseudo-Distributed Operation Configuration Setu…

一.应用场景介绍 本文主要是介绍Redis集群在Linux环境下的安装讲解,其中主要包括在联网的Linux环境和脱机的Linux环境下是如何安装的.因为大多数时候,公司的生产环境是在内网环境下,无外网,服务器处于脱机状态(最近公司要上线项目,就是无外网环境的Linux,被离线安装坑惨了,走了很多弯路,说多了都是血泪史啊%>_<%).这也是笔者写本文的初衷,希望其他人少走弯路,下面就介绍如何在Linux安装部署Redis集群. 二.安装环境及工具 系统:Red Hat Enterprise Li…

安装环境    FastDFS_v5.05.tar.gz(http://sourceforge.net/projects/fastdfs/files/)    fastdfs-nginx-module_v1.16.tar.gz    libfastcommon-master.zip    ngx_cache_purge-2.3.tar.gz    nginx-1.6.2(https://www.cnblogs.com/cac2020/p/9524197.html)        VM虚拟机red…

要想深入学习Hadoop分布式文件系统,首先需要搭建Hadoop的实验环境,Hadoop有两种安装模式,即单节点集群模式安装(也称为伪分布式)和完全分布式模式安装,本节只介绍单节点模式的安装,参考官方文档: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html 由于Hadoop是运行在Linux/Unix平台,如果读者使用的是Windows操作系统,需要在虚拟机中搭建Li…

hbase 单机安装部署及phoneix 单机安装 Hbase 下载 (需先配置jdk) https://www.apache.org/dyn/closer.lua/hbase/2.0.1/hbase-2.0.1-bin.tar.gz 解压安装 tar -xzvf hbase--bin.tar.gz mv hbase-2.0.0.1-ibin hbase mv hbase-2.0.0.1 hbase mv hbase /opt 修改配置文件 cd /opt/hbase/conf/ vi hbas…

百度百科:https://baike.baidu.com/item/fastdfs/5609710?fr=aladdin 相关软件包: 链接:https://pan.baidu.com/s/11nO2bOqBWPjtAlzATYo38Q  提取码:x1a3  安装: 1,安装之前首先linux上要有gcc包. 2,安装libfastcommon 3,安装FastDFS 4,配置跟踪器(tracker) 5,配置存储器(storage) 6,环境搭建完成,可以进行测试环境是否搭建成功 7,跟踪器和…

本人在安装es5.1.1版本时候整理的一些过程,参照了网上部分过程:其中过程中也出现一些其它问题,出现的问题和解决方案都整理在此文中. 1Elasticsearch5.1.1安装 到ES官网https://www.elastic.co/downloads下载ES安装包,Linux系统下载tar格式版本.我们目前使用的ES版本是5.1.1,需要JDK8才能启动,如没有JDK8环境 请自行下载配置(ubuntu下配置JDK环境变量: sudo vi -/.bashrc). ES5.1.1需要进行一些…

不多说,直接上干货! 在这篇博客里,我采用了非官网的安装步骤,来进行安装.走了弯路,同时,也是不建议.因为在大数据领域和实际生产里,还是要走正规的为好. Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐) 官方文档 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 这里是一个总述,不多说. 这里是Overview,不多说. 第一步:为软件包管理系统导入公…

不多说,直接上干货! 在这篇博客里,我采用了非官网的安装步骤,来进行安装.走了弯路,同时,也是不建议.因为在大数据领域和实际生产里,还是要走正规的为好. Ubuntu16.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐)  官方文档 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 这里是一个总述,不多说. 这里是Overview,不多说. 第一步:为软件包管理系统导入…

↓↓↓↓↓↓↓↓视频已上线B站↓↓↓↓↓↓↓↓ >>>>>>传送门 本次搭建仅采用Compute单节点做swift组件 1.Controller安装并配置控制节点 2.Compute安装和配置存储节点 3.Compute节点安装并配置组件 4.Controller节点创建,分发并初始化rings 5.启动服务 6.Controller执行验证操作 1.Controller安装并配置控制节点 1.获得凭证并创建身份认证服务的凭证 # . /root/admin-openr…

操作系统:Redhat6.7 64位[root@Oracle12CDB ~]# more /etc/redhat-release Red Hat Enterprise Linux Server release 6.7 (Santiago) (1)配置/etc/hosts文件[root@Oracle12CDB ~]# hostnameOracle12CDB[root@Oracle12CDB ~]# vim /etc/hosts127.0.0.1   localhost localhost.loca…

在这里,直接使用最新的包进行学习.这里的安装也以前的版本不同,不过因为学习,这部分安装的区别不具体研究了. 这里也是摸索型的记录,所以会出现报错情况,然后针对这种方式进行解决,最后达到安装完成的效果. 关于elasticsearch7.2需要jdk11及以上,关于jdk在/etc/profile下自己安装环境. 1.去官网下载linux的下包 2.上传 使用rz上传 目录是/opt/data,用于存放安装包 3.解压 将其解压到/opt/software目录下 [root@caojun data…

一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 3.配置Hadoop文件 二.所需下载文件 [1]JDK下载地址 [2]Hadoop下载地址-推荐binary版本是提前编译好的 [3]hadoop在windows上运行需要winutils支持和hadoop.dll等文件 在github仓库中找到对应版本的二进制库hadoop.dll和winuti…