一.前言 近几年大数据是异常的火爆,今天小编以java开发的身份来会会大数据,提高一下自己的层面! 大数据技术也是有很多: Hadoop Spark Flink 小编也只知道这些了,由于Hadoop,存在一定的缺陷(循环迭代式数据流处理:多 并行运行的数据可复用场景效率不行).所以Spark出来了,一匹黑马,8个月的时间从加入 Apache,直接成为顶级项目!! 选择Spark的主要原因是: Spark和Hadoop的根本差异是多个作业之间的数据通信问题 : Spark多个作业之间数据 通信是基…

下载Redis 在Redis的官网下载页上有各种各样的版本,我这次是在windows上部署的,要去GitHub上下载.我下载的是2.8.12版的,相信大家百度一下就可以搜到,这就是我们需要的: 启动Redis服务端: 在redis安装目录,输入cmd,在这个窗口输入: redis-server redis.conf 表示以redis.conf的配置来启动redis服务端,如下图所示: 启动成功之后,另外打开一个cmd窗口,输入: redis-cli.exe -h 其中-h表示连接服务器的ip地址…

下面主要是我在Windows上(Win7)安装.运行.安装Windows服务的笔记,以作备忘. 1.下载 下载地址:http://www.mongodb.org/downloads 从其下载页面就可以看出MongoDB还真的是不赖,支持各个操作系统,其驱动也有好多,目前我用的是.net平台的. 2.安装 安装非常简单,解压就行了,我解压后,放在D:/MongoDB目录下. 为了命令行的方便,可以把D:/MongoDB/bin加到系统环境变量的path中了. 3.运行 D:\>mongod --d…

windows下安装Redis并部署成服务 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件. 一:下载 下载地址: windows版本: https://github.com/MSOpenTech/redis/releases Linux版本: 官网下载: http://www.redis.cn/ git下载 https://github.com/antirez/redis/releases 我们现在讨论的是windows下的安装部署,目前w…

windows下安装hadoop,直接去官网采用简单暴力的方法: 1.下载hadoop的安装包:http://hadoop.apache.org/->左边点Releases->点mirror site->点http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->下载hadoop-2.9.0.tar.gz: 2.解压安装包:将下载包解压到指定目录,并添加环境变量:解压出来一个目录:D:\hadoop-2.9.0,将bin路径…

摘要 本篇经验将和大家介绍Windows下安装和部署RabbitMQ消息队列服务器,希望对大家的工作和学习有所帮助! 目录 一.Erlang语言环境的搭建 二.RabbitMQ服务环境的搭建 三.RabbitMQ服务Web管理工具 一.Erlang语言环境的搭建 RabbitMQ开源消息队列服务是使用Erlang语言开发的,因此我们要使用他就必须先进行Erlang语言环境的搭建,其实是非常简单的. 下载地址:http://www.erlang.org/downloads 1. 登录Erlang官…

windows下rsync部署安装 2012-06-05 12:06:13|  分类: 系统 |  标签:rsync  windows   |字号 订阅   rsync在windows与windows服务器之间的同步设置1.准备两台机器:server-----192.168.0.201client-----192.168.0.202 2.下载windows版的rsync工具 文件: cwRsync_client_2.0.10_Installer.zip   server端:cwRsync_Ser…

windows下安装node.js及环境配置.部署项目 一.总结 一句话总结: 安装nodejs软件:就像普普通通的的软件那样安装 配置nodejs安装的全局模块的环境变量 并且安装cnpm(比如cnpm) 部署和启动项目:cnpm install 和 npm run dev 1.npm如何指定缓存位置和全局模块的安装位置? npm config set prefix "D:\software\coding\nodejs\fry_data\node_global" npm config…

搭建Hadoop环境( 我以hadoop 2.7.3 为例, 系统为 64bit Ubuntu14.04 ) hadoop 2.7.3 官网下载 , 选择自己要安装的版本.注意每个版本对应两个下载选项source和binary,我们暂时下载binary,我们下载编译好的文件hadoop-2.7.3.tar.gz , 解压后为 hadoop-2.7.3 , 这个可以直接安装部署. ( 如果下载源代码文件 hadoop-2.7.3-src.tar.gz , 需要先编译后才能进行安装部署. ) Had…

Windows下搭建Spark+Hadoop开发环境需要一些工具支持. 只需要确保您的电脑已装好Java环境,那么就可以开始了. 一. 准备工作 1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装) 下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/ 下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录. 2. 下载支持插件 下载地址:…