一.前言 近几年大数据是异常的火爆,今天小编以java开发的身份来会会大数据,提高一下自己的层面! 大数据技术也是有很多: Hadoop Spark Flink 小编也只知道这些了,由于Hadoop,存在一定的缺陷(循环迭代式数据流处理:多 并行运行的数据可复用场景效率不行).所以Spark出来了,一匹黑马,8个月的时间从加入 Apache,直接成为顶级项目!! 选择Spark的主要原因是: Spark和Hadoop的根本差异是多个作业之间的数据通信问题 : Spark多个作业之间数据 通信是基…

下载hadoop http://hadoop.apache.org/releases.html --> http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz 安装hadoop,配置HADOOP_HOME, 把${HADOOP_HOME}/bin放到path 下载spark http://spark.apache.org/downloads.html --> https:…

快速构建(LNMP+Node)运行环境. dkc 在此作为 docker-compose 的缩写,你可以理解为 alias dkc=docker-compose 准备 安装 docker 选择1) 从 repository 安装 # 1.支持 Ubuntu 和 CentOS 的安装脚本 $ sudo wget https://raw.githubusercontent.com/farwish/delicateShell/master/support/installDockerCE.sh &&…

已经自学了好几个月的大数据了,第一个月里自己通过看书.看视频.网上查资料也把hadoop(1.x.2.x).spark单机.伪分布式.集群都部署了一遍,但经历短暂的兴奋后,还是觉得不得门而入. 只有深入大数据开发才能逐步掌握大数据.而首先要搭开发环境,对于一个像我这样之前只做过plsql开发的人来说,确实走了很多弯路.一开始目标设得很高,直接下源代码编译成jar包进行使用,后来发现其实没什么必要,受到一些非技术因素尤其是天朝特色社会主义网络的影响,sbt基本无法使用,直接下官方编译好的版本就行了…

一.虚拟机环境准备 1.克隆虚拟机 2.修改克隆虚拟机静态IP 3.修改主机名 4.关闭防火墙 5.创建hadoop用户 6.配置hadoop用户具有root权限 7.在/opt 目录下创建文件夹 1)在/opt 目录下创建module.software文件夹 [hadoop@hadoop101 opt]$ sudo mkdir module [hadoop@hadoop101 opt]$ sudo mkdir software 2)修改module.software文件夹的所有者 [hadoo…

0x00 环境及软件 1.系统环境 OS:Windows10_x64 专业版 2.所需软件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8.3.tar.gz scala-2.11.8.zip hadoop-common-2.2.0-bin-master.zip(主要使用里面的winutils.exe) IntelliJ IDEA(版本:2017.1.2 Build #IU-171.4249.32,built on April 21…

http://s3tools.org/s3cmd Amazon Elastic MapReduce (Amazon EMR)简介 Amazon Elastic MapReduce (Amazon EMR) 是一种 Web 服务,提升企业.研究人员.数据分析师和开发人员轻松.经济高效掌控海量数据的能力.它基于 Amazon EC2)技术和Amazon S3) 技术的 Web 规模基础设施,是一种 Hadoop 托管服务运行架构. Amazon Elastic MapReduce自动加快MapRed…

机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装 安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定. 同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:…

欢迎转载,转载请注明出处,徽沪一郎. 楔子 Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析.由于这一特性而收到广泛的欢迎. Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意.由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常…

Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析.由于这一特性而收到广泛的欢迎. Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意.由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常闻名的Shark开源项目. 在Spark 1…

1.安装JDK及配置java环境变量 本文使用版本为jdk1.7.0_79,过程略 2.安装scala 本文使用版本为2.11.8,过程略 3.安装spark 本文使用版本为spark-2.0.1-bin-hadoop2.7,解压后路径:D:\spark-2.0.1-bin-hadoop2.7,注意:Spark的文件目录路径名,不能出现空格,类似于"Program Files"这样的文件夹名是不被允许的. 配置环境变量: SPARK_HOME=D:\spark-2.0.1-bin-ha…

微软的Windows Server 2012发布后,第一时间进行了简单的试用,非常不错,特写了个简易的PHP环境搭建教程.先来欣赏下Win2012的登录界面吧第一步我们需要安装IIS81.点击任务栏最左边第一个图标,打开任务管理器,会看到一个"添加角色和功能"的入口,点开2.选择"基于角色或基于功能的安装",然后点击下一步3.在服务器选择界面选择当前服务器,并点击下一步4.服务器角色选择界面我们选择IIS,并点击下一步5.接下来需要连续多点两次下一步,然后来到&qu…

在Windows 8 的IIS(8.0)中搭建PHP运行环境: 一:安装IIS服务器 1.进入控制面板>>程序和功能>>打开或关闭Windows 功能,找到Internet信息服务,记得选中CGI这一项 2.安装完成后在浏览器中打开localhost,查看是否能显示IIS的欢迎页面: 二:下载安装配置PHP环境 1.下载PHP,官网地址:http://windows.php.net/download/, 2.将下载的zip压缩包解压到D盘下,解压后为E:\php; 3.进入控制面板…

PHP也是一种常用的网站脚本语言,时常用于网站应用程序的编写,PHP运行环境包含几个要素:PHP.Apache服务器.MySql数据库,此3个要素是Php网站运行的必要条件.在阿里云的Windows服务器上,可通过phpStudy软件来快速部署环境,采取傻瓜式一键安装的方式操作,省去不少的配置工作量. (1)首先百度PhpStudy,然后进入官网下载最新的PhpStudy软件.如下图 (2)进入官网下载软件后一件安装,安装完成后启动PhpStudy软件,然后点击启动或者重启按钮,启动Apache…

React Native是什么 React Native是facebook开源的一个用于开发app的框架.React Native的设计理念:既拥有Native (原生) 的用户体验.又保留React的开发效率.这个理念似乎迎合了业界普片存在的痛点,自2015年9月份开源不到1周github star破万. 虽然React Native官方声明开发需要使用mac本,但是如果只是想用React Native来开发一个android应用,也是可以在windows下进行的. React Native配…

无意中在网上看到NodeJS的文章,发现最近还挺火的,正好我也是做技术的,那就下载个玩玩呗,试试它的魅力,也来亲自感受下. 网上nodejs的环境的搭建到处都是,我这里就不说了,今天我想通过我自己的环境来说明下nodejs的绿色环境的搭建.甚至拷贝到U盘,可以在任何Windows机器上运行的环境.呵呵,说的有点夸张了,但应该可以在大部分电脑上运行. 什么是node的绿色环境搭建呢?就是我创建一个bat文件,在文件中写入必要的代码,然后双击运行出现的cmd窗口就是我的node运行环境,所有的程序也…

1.前言 由于ES6语法在各个浏览器上支持的情况各不相同,有的浏览器对ES6语法支持度较高,而有的浏览器支持较低,所以为了能够兼容大多数浏览器,我们在使用ES6语法时需要使用babel编译器将代码中的ES6语法编译为ES5语法,下面就开始搭建一个基于webpack+babel的ES6语法运行环境. 2.需要安装的包 搭建环境之前我们需要安装以下JS包: webpack(安装webpack,必装) babel-loader和babel-core(babel转码器,必装) babel-preset-…

此处搭建的是运行环境,不是开发环境. 1, 下载sdk 并安装  1.8      http://rj.baidu.com/soft/detail/14459.html?ald 2, 配置环境变量 步骤: 1. 右键“我的电脑”点击“属性” 2. 点击“高级属性设置” 3. 点击“环境变量” 4. 打开环境变量设置窗口   新建系统环境变量“JAVA_HOME” 设置JAVA_HOME值为JDK安装目录,如:C:\Program Files\Java\jdk1.8.0_25 JAVA_HOME:…

修改hostname bogon 为localhost 查看ip地址 [training@bogon ~]$ sudo hostname localhost [training@bogon ~]$ hostname 执行结果 此时python 版本为2.7 将python版本升级至3.0及以上 一.            下载欲升级python版本 Python-3.4.5,将包放于本机与虚似机的共享目录下,上传至虚似机的opt目录下 二.            解压 三.阅读README安装步…

模板虚拟机 目录 模板虚拟机 1 硬件 2 操作系统 3 IP地址和主机名称 vm windows10 Hadoop100服务器 远程访问工具 其他准备 克隆虚拟机 克隆 修改主机名/ip 安装jdk 1 上传jdk和hadoop安装包 2 解压安装包进module文件夹下 3 配置JDK环境变量 安装hadoop 1 解压安装包进module文件夹下 2 配置环境变量 1 硬件 说明: 1.hadoop100.vmdk生成的物理磁盘文件,为了方便管理放在hadoop100文件夹下. 2 操作系…

1. 新建maven project 2. Group id : org.scala-tools.archetypes Artifact id : scala-archetype-simple Version : 1.2 3. 修改pom.xml文件(添加Hadoop client 及spark core 依赖) http://mvnrepository.com/ Hadoop client. 查找对应的Hadoop版本的文件 同理, spark client copy以上文件到pom.xml中…

scala-2.9.3:一种编程语言,下载地址:http://www.scala-lang.org/download/    spark-1.4.0:必须是编译好的Spark,如果下载的是Source,则需要自己根据环境使用SBT或者MAVEN重新编译才能使用. 编译好的 Spark下载地址:http://spark.apache.org/downloads.html. 2.安装scala-2.9.3   #解压scala-2.9.3.tgz tar -zxvf scala-2.9.3.tgz…

目录 创建Docker镜像 下载制作镜像的系统 启动容器并修改镜像 制作镜像 创建Docker镜像 [info]构建Docker镜像的一般过程是首先创建一个容器, 并在容器里修改镜像,配置相关环境等,最后将修改提交为一个新镜像. 下载制作镜像的系统 root@ubuntu:/home/guanfuchang# docker pull ubuntu 下载完成后,本地多了一个ubuntu系统镜像如下: root@ubuntu:/home/guanfuchang# docker images REPO…

安装Spark的方式 现在有两种安装方式: 安裝spark notebook:已經把spark, scala, hadoop等等包起來了,裝好就能用GUI介面操作,適合測試用. 傳統方式安裝:慢慢裝spark, scala, hadoop等等,要做些設定,這邊就能自己掌握架設的細節. 安裝spark notebook 参考资料: 在ubuntu14.04上架設spark環境-使用spark notebook https://www.gitbook.com/book/opensourceteam/…

下载php组件包 首先到http://windows.php.net/download/下载你需要的php版本,这里我下载的是php5.3. 下面解压php组件 包到磁盘上. 安装Microsoft Visual C++ 2008 SP1 可再发行组件包 x86 版 在地址http://www.microsoft.com/zh-cn/download/details.aspx?id=5582下载安装Microsoft Visual C++ 2008 SP1 可再发行组件包 x86 版.注意,这里…

微软全新操作系统Windows10在190个国家和地区正式同步上市,正版Windows7.Windows8.1用户均可在一年内免费升级.介绍一下在升级后的Windwos10系统上安装及配置Apache及PHP步骤(感觉和Windows7.8没有差别). 首先下载符合系统位数的Apache和PHP http://www.apachelounge.com/download/ http://windows.php.net/download 安装并配置Apache Apache版本:Apache2.4.…

1.mysql下载配置 可参考这篇文章:https://www.cnblogs.com/myIvan/p/9265645.html 2.php下载及配置 可参考这篇文章:https://www.cnblogs.com/myIvan/p/9533463.html 3.重点说下apache 下载地址:https://www.apachehaus.com/cgi-bin/download.plx 分32位和64位 (这里注意,一定要记住VC11和VC14的选择要和PHP的选择一致.) 解压后获得这样一…

1.右击[计算机]-->[管理],进入到”服务器管理器” 界面,如图所示: 2.依次展开[角色]-->[Web服务器(IIS)]-->[Internet 信息服务(IIS)管理器],如图所示: 3.双击[Internet信息服务(IIS)管理器],这里的Internet 信息服务(IIS)管理器就是Internet信息服务(IIS)7.0管理 器,如图所示: 4.鼠标右击[网站]-->[添加网站],如图所示: 5.弹出”添加网站”设置框,如图: (1).输入网站名称,应用程序池默认…

所需文件: 更新日期为2021/5/8: Linux 内核更新包 JDK1.8 maven3.8.1 hadoop3.3.0 spark3.1.1 WSL?WSL2? WSL是适用于 Linux 的 Windows 子系统可让开发人员按原样运行 GNU/Linux 环境 - 包括大多数命令行工具.实用工具和应用程序 - 且不会产生传统虚拟机或双启动设置开销. 您可以: 在 Microsoft Store 中选择你偏好的 GNU/Linux 分发版. 运行常用的命令行软件工具(例如 grep.se…

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,…