1. Hadoop介绍 Hadoop是一个能够对海量数据进行分布式处理的系统架构. Hadoop框架的核心是:HDFS和MapReduce. HDFS分布式文件系统为海量的数据提供了存储, MapReduce分布式处理框架为海量的数据提供了计算. 2. Hadoop安装 2.1 安装java Hadoop是使用JAVA写的,所以需要先安装JAVA环境. 本次安装的是hadoop-2.7.0,需要JDK 7以上版本. # yum install java-1.7.0-openjdk # yum i…

使用yum源的方式单机部署MySQL8.0.13 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 基本上开源的软件都支持三种安装方式,即rmp方式安装,源码安装和二进制方式安装.在实际生成环境中用到最多的方式莫过于二进制方式安装或者rmp方式安装.其中rmp方式安装是最常见的,比如Linux的Redhat/CentOS法相版本的yum管理工具,其实就是基于rpm方式安装,只不过它能帮我们解决rpm包的依赖关系即可.我在之前的笔记中介绍过MySQL5.7版本的以上三种安装方式.…

使用二进制安装包的方式单机部署MySQL8.0.13 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 关于MySQL的介绍我这里就不多做赘述了,如何下载MySQL详情请参考:MySQL入门介绍(mysql-8.0.13).本篇博客默认你已经将MySQL二进制tar包下载好并上传到服务器上了. 一.使用默认的安装路径部署MySQL服务 1>.安装上传工具 [root@node101 ~]# yum -y install lrzsz 2>.上传MySQL的二进制安装包到服务器上…

本文对在单机部署swift 当中每个细节做具体的介绍,并对配置做对应的解释 PC物理机    Ubuntu-12.04-desktop-64位 Swift 版本号:1.13.1 Swift-client   1.2.0 注意:本文全部操作都是在root权限下进行的. 1 .下载swift 和swift-client 源码,本文利用git从github获取其源码 获取swift源码 git clone https://github.com/openstack/swift.git 获取python版…

原文地址: http://blog.jboost.cn/2019/06/29/session-redis.html 一些项目初期出于简单快速,都是做单机开发与部署,但是随着业务的扩展或对可用性要求的提高,单机环境已不满足需求.单机部署往多机部署切换,其中可能存在的一个重要环节就是session的共享(如果一开始就是基于token的认证则可忽略).本文介绍一个基于redis的tomcat session管理开源项目:redission-tomcat,可无代码侵入式地快速实现session共享. 1…

背景: 随着数据量的上升,OLAP一直是被讨论的话题,虽然druid,kylin能够解决OLAP问题,但是druid,kylin也是需要和hadoop全家桶一起用的,异常的笨重,再说我也搞不定,那只能找我能搞定的技术.故引进clickhoue,关于clickhoue在17年本人就开始关注,并且写了一些入门的介绍,直到19年clickhoue功能慢慢的丰富才又慢慢的关注,并且编写了同步程序,把mysql数据实时同步到clickhoue,并且最终在线上使用起来. 关于clickhouse是什么请自行…

一.Hadoop原理介绍 1.请参考原理篇:Hadoop1-认识Hadoop大数据处理架构 二.centos7单机部署hadoop 前期准备 1.创建用户 [root@web3 ~]# useradd -m hadoop -s /bin/bash #---创建hadoop用户 [root@web3 ~]# passwd hadoop #---创建密码 Changing password for user hadoop. New password: BAD PASSWORD: The passwo…

简介 FastDFS是一个开源的分布式文件系统,官方介绍有详细的介绍,不多赘述.本文主要是FastDFS的搭建及采坑指南. Step By Step Guide 系统 阿里云ECS Ubuntu 16.04 编译环境 按需安装,这里是针对新的ubuntu系统 $ apt-get install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim…

MongoDB单机部署 一.环境 系统:centos7.6 DB版本:mongodb-linux-x86_64-rhel62-4.2.1.tgz 官网地址:https://www.mongodb.com wget https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.4/x86_64/RPMS/mongodb-org-server-4.4.0-1.el7.x86_64.rpm 二.安装 [root@t1 ~]# tar -zxvf mongodb…

在上篇文章 MySQL入门01-MySQL源码安装 中,我们介绍了MySQL源码安装的方法. 源码安装虽然有着更加灵活和更加优化等诸多优势.但源码编译安装部署的过程相对复杂,而且整个过程所花费的时间很长. 对于一整套系统和硬件完全一样的机器,其实完全可以只在一台机器源码安装,然后打包好编译出来的二进制版本,拷贝到其他机器解压,直接进行一些配置即可. 本篇文章就来介绍一下二进制版本安装配置MySQL的整个过程. 1.上传二进制版本 2.规划数据存放目录 3.解压二进制版本的MySQL 4.添加组和…