1.Hive简介 数据仓库 解释器.编译器.优化器等 运行时,元数据存储在关系型数据库里面 1.1数据库和数据仓库的区别 数据库需要立即返回结果,数据仓库不需要 数据仓库能收纳各种数据源,而数据库只能保持产品线 数据库可修改,数据仓库不可修改 1.2Hive的产生 非java编程者对hdfs的数据做mapreduce操作 2.Hive架构 图2.1  架构图 (1)用户接口主要有三个:CLI,Client 和 WUI.其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本.Clien

 Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapReduce而开发的一系列上层应用软件. hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统.目前支持的超大文件的范围为从MB级至PB级. MapReduce是一种可用于数据处理的编程模型,基于MapReduce模型的程序本质上都是并行运行的.基于MapReduce

hbase伪分布式安装(单节点安装) http://hbase.apache.org/book.html#quickstart   1.    前提配置好java,环境java变量     上传jdk1.7     rpm  -ivh  jdk 2.    上传hbase的压缩包,解压,配置hbase环境变量,修改配置文件(hbase-env.sh, hbase-site.xml)    2.1 解压    2.2 配置hbase环境变量 mv  hbase  /home cd  hbase/b

[准备] 1.CentOS 7.6的镜像盘(下载地址:官网) 2.vertica-9.1.0-0.x86_64.RHEL6(下载地址:https://pan.baidu.com/s/1IjWBUTku_zMpccF2VQ9iDw 密码:qd7p) 3.外网环境 [安装过程] 1.安装CentOS 7.6minimal installation模式即可 注意!根目录“/”挂载的文件系统必须是ext4,不能是默认的xfs! 2.配置网络,能够访问外网 3.安装依赖包[root@localhost ~

一.准备环境 在配置hdfs之前,我们需要先安装好hadoop的配置,本文主要讲述hdfs单节点的安装配置. hadoop的单节点安装配置请参考:https://www.cnblogs.com/lay2017/p/9912381.html 二.安装hdfs 配置文件 hadoop安装准备好之后,我们需要对其中的两个文件进行配置 1.core-site.xml 这里配置了一个hdfs的namenode节点,以及文件存储位置 <configuration> <!-- nameNode:接收请

一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题.而现在的hadoop更是形成了一个生态体系,如图: 上图大体展示了hadoop的生态体系,但并不完整.总而言之,随着hadoop越来越成熟,也会有更多地成员加入hadoop生态体系中. hadoop官方网站:http://

Centos7 单节点安装 FastDFS + FastDHT服务 1.安装gcc(编译时需要) FastDFS是C语言开发,安装FastDFS需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc yum install -y gcc gcc-c++ 2.安装libevent(运行时需求) 若安装了桌面图形界面,就不需要安装:FastDFS依赖libevent库: yum -y install libevent libevent-devel 3.安装libfas

Flume NG概述: Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均衡.其中Agent包含Source,Channel和 Sink,三者组建了一个Agent.三者的职责如下所示: Source:用来消费(收集)数据源到Channel组件中 Channel:中转临时存储,保存所有Source组件信息 Sink:从Channel中读取,读取成功后会删除Channel中的

Redis单节点安装 一.Redis的数据类型 string hash list set zset 二.安装 2.1.下载 wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2.2.解压 tar -xf redis-5.0.5.tar.gz 2.3.安装 make make install PREDIX=/opt/redis 2.4.修改环境变量 vim /etc/profile export REDIS_HOME:/opt/re

环境搭建以及etcd 单节点安装过程 安装之前的环境搭建 在进行k8s安装之前先把虚拟机准备好,这里准备的是三台虚拟机 主机名 ip地址 角色 master 172.16.163.131 master node1 172.16.163.130 node node2 172.16.163.129 node 然后进行环境部署 第一步:关闭防火墙 //在master虚拟机上执行以下命令 systemctl stop firewalld systemctl disable firewalld //在另外

Hadoop: 单节点安装 目标 本文描述了如何安装和配置单机的 Hadoop,这样你可以使用 Hadoop MapReduce 和 Hadoop 分布式文件系统(HDFS)快速地尝试简单的操作. 前提 支持的平台 支持 GNU/Linux 作为开发平台和生产环境.经实战检验,Hadoop 能运行在包含 2000 台 GNU/Linux 机器组成的集群上. 同样支持 Windows,但后续步骤只适用于 Linux.要在 Windows 上安装 Hadoop,请查阅百科文档. 需要的软件 Linu

mongo单节点环境安装(linux) 安装包 下载地址: (https://www.mongodb.com/download-center) 用户权限/目录 创建 dbuser用户 groupadd dbgroup useradd dbuser -m -d /home/dbuser -g dbgroup 部署目录 mkdir -p /opt/local chown -R dbuser:dbgroup /opt/local cd /opt/local 解压安装包 tar -xzvf mongod

Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms Required Software Installing Software Download Prepare to Start the Hadoop Cluster Standalone Operation Pseudo-Distributed Operation Configuration Setu

要想深入学习Hadoop分布式文件系统,首先需要搭建Hadoop的实验环境,Hadoop有两种安装模式,即单节点集群模式安装(也称为伪分布式)和完全分布式模式安装,本节只介绍单节点模式的安装,参考官方文档: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html 由于Hadoop是运行在Linux/Unix平台,如果读者使用的是Windows操作系统,需要在虚拟机中搭建Li

↓↓↓↓↓↓↓↓视频已上线B站↓↓↓↓↓↓↓↓ >>>>>>传送门 本次搭建仅采用Compute单节点做swift组件 1.Controller安装并配置控制节点 2.Compute安装和配置存储节点 3.Compute节点安装并配置组件 4.Controller节点创建,分发并初始化rings 5.启动服务 6.Controller执行验证操作 1.Controller安装并配置控制节点 1.获得凭证并创建身份认证服务的凭证 # . /root/admin-openr

前提: Elasticsearch-2.4.3的下载(图文详解) 1.新建es安装目录 [root@djt002 local]# mkdir elasticsearch [root@djt002 local]# ll total 72 drwxr-xr-x. 2 root root 4096 Sep 23 2011 bin drwxr-xr-x. 2 hadoop hadoop 4096 Feb 20 17:59 data drwxr-xr-x. 2 root root 4096 Feb 20

1.概述 上篇文章<架构设计:负载均衡层设计方案(4)——LVS原理>(http://blog.csdn.net/yinwenjie/article/details/46845997),我们介绍了LVS的工作模式,和每一种模式的具体工作过程.这篇文章中,我们将介绍单一LVS节点的安装方式.比起上一篇文章,这一片要提到的安装和配置就是非常简单的了,只要您了解原理,实践就是从容的事情. 您可以在您的电脑上使用VMware虚拟机,按照下面介绍的过程一步一步实践.我们将采用两台虚拟机,一台作为LVS节

百度百科:https://baike.baidu.com/item/fastdfs/5609710?fr=aladdin 相关软件包: 链接:https://pan.baidu.com/s/11nO2bOqBWPjtAlzATYo38Q  提取码:x1a3  安装: 1,安装之前首先linux上要有gcc包. 2,安装libfastcommon 3,安装FastDFS 4,配置跟踪器(tracker) 5,配置存储器(storage) 6,环境搭建完成,可以进行测试环境是否搭建成功 7,跟踪器和

安装环境    FastDFS_v5.05.tar.gz(http://sourceforge.net/projects/fastdfs/files/)    fastdfs-nginx-module_v1.16.tar.gz    libfastcommon-master.zip    ngx_cache_purge-2.3.tar.gz    nginx-1.6.2(https://www.cnblogs.com/cac2020/p/9524197.html)        VM虚拟机red

操作系统:Redhat6.7 64位[root@Oracle12CDB ~]# more /etc/redhat-release Red Hat Enterprise Linux Server release 6.7 (Santiago) (1)配置/etc/hosts文件[root@Oracle12CDB ~]# hostnameOracle12CDB[root@Oracle12CDB ~]# vim /etc/hosts127.0.0.1   localhost localhost.loca

在这里,直接使用最新的包进行学习.这里的安装也以前的版本不同,不过因为学习,这部分安装的区别不具体研究了. 这里也是摸索型的记录,所以会出现报错情况,然后针对这种方式进行解决,最后达到安装完成的效果. 关于elasticsearch7.2需要jdk11及以上,关于jdk在/etc/profile下自己安装环境. 1.去官网下载linux的下包 2.上传 使用rz上传 目录是/opt/data,用于存放安装包 3.解压 将其解压到/opt/software目录下 [root@caojun data