hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建(4)SPARK 安装 一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文:http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 二.文件准备 spark-2.…

一.文件准备 scala-2.12.1.tgz 下载地址: http://www.scala-lang.org/download/2.12.1.html 二.工具准备 2.1 Xshell 2.2 Xftp 三.操作步骤 3.1 通过Xftp将下载下来的Scala上传到指定虚拟机上传到/usr目录下 3.2 通过Xshell连接到虚拟机,执行如下命令,解压文件: $ tar zxvf  scala-2.12.1.tgz 建立到解压后目录的连接scala 3.3 使用Vi编辑器,设置环境变量 $…

一.依赖安装 安装JDK 二.文件准备 hadoop-2.7.3.tar.gz 2.2 下载地址 http://hadoop.apache.org/releases.html 三.工具准备 3.1 Xshell 3.2 Xftp 四.部署图 master:192.168.136.128 slave:192.168.136.129 slave:192.168.136.130 五.Hadoop安装 以下操作,均使用root用户 5.1 主机名与IP地址映射关系配置 Master节点上,执行如下命令:…

一.文件准备 下载jdk-8u131-linux-x64.tar.gz 二.工具准备 2.1 Xshell 2.2 Xftp 三.操作步骤 3.1 解压文件: $ tar zxvf jdk-8u131-linux-x64.tar.gz 解压后文件目录移动到/opt/modules/下 建立连接jdk1.8到该目录 3.3 使用Vi编辑器,设置环境变量 $ sudo vi /etc/profile 在文件最后,添加如下内容: #Java Env export JAVA_HOME=/opt/modu…

1.选取三台服务器(CentOS系统64位) 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作.如果是用root用户操作的话就不存在以上问题. 我是用root用户操作的. 2.修改hosts文件 修改三台服务器的hosts文件. vi /etc/hosts 在原文件的基础最后面加上: 114.55.246.88 Master 114.55.…

一.修改hosts文件 在主节点,就是第一台主机的命令行下; vim /etc/hosts 我的是三台云主机: 在原文件的基础上加上; ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2 其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点. 二.ssh互信(免密码登录) 注意我这里配置的是root用户,所以以下的家目录是/root 如果你配置的是用户是xxxx,那么…

Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce两个方法,其提供了更为强大的内存计算(in-memory computing)模型,使得用户可以通过编程将数据读取到集群的内存当中,并且可以方便用户快速地重复查询,非常适合用于实现机器学习算法.本文将介绍Apache Spark1.1.0部署与开发环境搭建. 0. 准备 出于学习目的,本文将Spar…

准备篇 一.环境说明: 操作系统:Windows Server 2003 SP2 32位 PHP版本:php 5.3.14(我用的php 5.3.10安装版) MySQL版本:MySQL5.5.25 二.相关软件下载: 1.PHP下载地址: http://windows.php.net/downloads/releases/php-5.3.14-nts-Win32-VC9-x86.zip 2.MySQL下载地址: http://gd.tuwien.ac.at/db/mysql/Downloads…

作为重量级的跨平台开发的游戏引擎,Cocos2d-x在现今的手游开发领域占有重要地位.那么问题来了,作为Cocos2dx的学习者,它的可移植特性我们就需要掌握,要不然总觉得少一门技能.然而这个时候各种各样的问题也就来了,之前网上一直有零零碎碎的移植教程,但是都不完整,或是有这样或者那样的问题.今天刚刚研究成功了Cocos2dx-3.0版本项目的安卓平台移植问题,本人亲自完成了整个过程,将Cocos2dx-3.0版本 从开发环境搭建(Win32)到项目移植Android平台过程 一起分享给大家.…

SDL2.0的VS开发环境搭建 [前言] 我是用的是VS2012,VS的版本应该大致一样. [开发环境搭建] >>>SDL2.0开发环境配置:1.从www.libsdl.org 下载SDL2.0开发工具,主要是include头文件目录及编译好的lib和dll文件,并解压:2.打开VS2012,新建空白工程:3.添加头文件路径.在工程上点击右键-->属性-->C/C++-->附加包含路径,输入1中解压的头文件路径(注意,需要先在工程中添加一个C或者C++的文件):4.添加…

windows7下solr7.1.0默认jetty服务器环境搭建 1.下载solr solr7官网地址:http://lucene.apache.org/solr/ jdk8官网地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk-netbeans-jsp-142931.html 这个例子的环境是Windows7.开始Solr安装之前,确保你已经安装了JDK8和正确配置JAVA_HOME(solr7.1.0最低jdk版本是1…

win7+selenium2.0+python+JetBrains PyCharm环境搭建 by:授客 QQ:1033553122 步骤1:下载python 担心最新版的支持不太好,这里我下载的是python 2.7(selenium之前不支持python3.x) 步骤2:安装python 下载好后直接安装,安装完后,记得把python的安装路径添加系统环境变量Path中(这个很简单,不懂的请自己百度). 步骤3:下载setuptools 我win7 32位系统,下载的是setuptools-0…

https://blog.csdn.net/wsh596823919/article/details/80774805 hadoop3.1.0 window win7 基础环境搭建 前言:在windows上部署hadoop默认都是安装了java环境的哈. 1.下载hadoop3.1.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 2.下载之后解压到某个目录 3.配置hadoop_home 新建HADOOP_HOME,指向ha…

Vue2.0 新手入门 — 从环境搭建到发布 转自:http://www.runoob.com/w3cnote/vue2-start-coding.html 具体文章详细就不搬了,步骤可过去看,我这就写下使用总结 1. Vue2.0 推荐开发环境中一些安装就不说了 Node.js  .npm  .webpack  .vue-cli  , 自己看着安装 到最后能启动本地通过 vue-cli 建的项目,  npm run dev  ,默认的 http://localhost:8080/ 能看到页面显…

Kafka 0.7.2 单机环境搭建当下载完Kafka后,进行解压,其目录结构如下: bin config contrib core DISCLAIMER examples lib lib_managed LICENSE NOTICE perf project README.md sbt system_test Kafka是用scala编写的,可以运行在JVM上,因此不需要单独搭建scala环境,在后面需要编程的时候我们再进行scala的配置.1.安装Java环境,本机是1.7.0_09 2.解…

总结Vue 第四天:vue-cli(Vue2.0 新手入门 - 从环境搭建到发布) 一.Vue CLI----(Vue2.0 新手入门 - 从环境搭建到发布): ■   CLI是Command-Line Interface, 俗称脚手架. ■  使用Vue.js开发大型应用时,我们需要考虑代码目录结构.项目结构和部署.热加载.代码单元测试等事情.(vue 脚手架的作用) ■   vue-cli 可以快速搭建Vue开发环境以及对应的webpack配置.   1.Vue CLI使用前提 –Node.…

Apache Spark™是用于大规模数据处理的统一分析引擎. 从右侧最后一条新闻看,Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台.它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,用来构建大型的.低延迟的数据分析应用程序.它扩展了广泛使用的MapReduce计算 模型.高效的支撑更多计算模式,包括交互式查询和流处理.spark的一个主要特点是能够在内存中进行计算,及时依赖磁盘进行复杂的运算,Spark依然比MapReduce更加高效.   中间结果输…

运行环境配置(10.79.115.111-114) 1.关闭防火墙与selinux 关闭防火墙: CentOS 7.x默认使用的是firewall作为防火墙. systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 关闭selinux: Redhat应用了SELinux去加强平安,永久封闭的举措为: 修改 /etc/selinux/config 文件中的 SE…

集群机器: 1台 装了 ubuntu 14.04的 台式机 1台 装了ubuntu 16.04 的 笔记本     (机器更多时同样适用) 1.需要安装好Hadoop分布式环境 参照:Hadoop分类  -->http://www.cnblogs.com/soyo/p/7868282.html 2.安装Spark2.2.0 到/usr/local2    sudo chmod -R 777 Spark(  此/usr/local2路径下的被解压的spark("spark"名字是自…

cocos2d-x 3.0发布有一段时间了,作为一个初学者,我一直觉得cocos2d-x很坑.每个比较大的版本变动,都会有不一样的项目创建方式,每次的跨度都挺大…… 但是凭心而论,3.0RC版本开始 环境搭建.项目创建.编译的方式更加人性化了. 现在我们进入正题,一步一步搭建cocos2dx的开发环境 cocos2d-x很多tools都是需要使用Python的,因此我们需要先安装Python环境 python下载:点这里 这里需要下载Python 2.X版本.曾经以为要下载3.x版本 后来装上发…

转自:http://tyrion.iteye.com/blog/1903608 以前看过Tomcat5的一部分源代码,当时只看了个大概的启动分析,后来看了<How Tomcat Works>这本书,讲的还行,出版的较早,所以是基于Tomcat4的代码的分析,Tomcat已经release到7了,很多后来添加的特性与新的实 现方式那本书里面没有涉及.下半年业余时间的主要任务就是完成Tomcat7各个我感兴趣的点的系列文章. 先说下我的源码分析的环境搭建吧,用的是eclipse Juno Serv…

0.环境搭建 笔者使用的是deepin/mac两种系统,因为两个电脑经常切换用.环境搭建没什么区别. 0.1 node安装 按照node官网叙述安装 # Using Debian, as root curl -sL https://deb.nodesource.com/setup_10.x | bash - apt-get install -y nodejs 0.2 yarn 安装 有时使用node安装后续脚手架时会出错,排错可能比较费时间,所以也推荐使用yarn,部署yarn与node及其使用…

已经接触cocos2dx有一段时间,但一直也仅仅是看看Demo,没有真正的去写代码.由于本人仅仅是java的coder.还是半路出家的coder,编程基础太浅. 对于c++.lua也不懂.近期cocos2dx公布3.0版本号,一看介绍.哇塞!超级牛逼. 果断開始新的学习. 首先就是环境搭建的问题. 开发游戏的都是高富帅啊.人家用的都是苹果.让我等屌丝情何以堪! 周六周日找了两天.各种尝试,最终找到了惬意的开发方式.以下就做一个分享.让后面的兄弟少走一些弯路. 准备的软件: 1 谷歌官网下载sdk…

编写不易,转载请注明(http://shihlei.iteye.com/blog/2084711)! 说明 本文搭建Hadoop CDH5.0.1 分布式系统,包括NameNode ,ResourceManger HA,忽略了Web Application Proxy 和Job HistoryServer. 一概述 (一)HDFS 1)基础架构 (1)NameNode(Master) 命名空间管理:命名空间支持对HDFS中的目录.文件和块做类似文件系统的创建.修改.删除.列表文件和目录等基本操作…

一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0  jdk1.8.0_161.这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可. 因为这里是配置Hadoop的教程,配置Java以及安装VMware Tools就自行百度解决哈,这里就不写了(因为教程有点长,可能有些地方有些错误,欢迎留言评论,我会在第一时间修改的). 二.搭建的详细步骤 1.配置免密码登陆ssh 先判断是否安装ssh,输入命令:ssh localhost,若提示输…

ssh-copy-id -i hadoop5含义: 节点hadoop4上执行ssh-copy-id -i hadoop5的含义是把hadoop4上的公钥id_rsa.pub的内容追加到hadoop5的授权文件authorized_keys中. zookeeper在hadoop2中实现的一个作用是HA的自动切换. journalnode是实现active和standby两个数据节点的数据同步. 搭建手工切换的HA (比hadoop1集群搭建多了一个journalnode) 机器分配: nameno…

自动切换的HA,比手动切换HA集群多了一个zookeeper集群 机器分配: zookeeper:hadoop4,hadoop5,hadoop6 namenode:hadoop4,hadoop5 datanode:hadoop4,hadoop5,hadoop6 journalnode:hadoop4,hadoop5,hadoop6,仅仅是为了实现HA,和集群没有任何关系,最少三个机器,奇数个 resourcemanager:hadoop4 nodemanager:hadoop4,hadoop5,…

实验目的: 本实验通过在PC电脑上同时运行3个虚拟机,一个为master节点,两个slave节点.    搭建环境: 主机:mac os 10.10   OS:CenOS 6.5 虚拟机:VMware fusion     一.虚拟机配置安装      本实验采用三台虚拟机作为分布式模拟,因此建立了三台虚拟机.每台虚拟机分别分配1g内存,15G硬盘空间.分别命名为Node1(master192.168.0.1), Node2(slave192.168.0.2),Node3(slave192.16…

最近在研究Java+Selenium的自动化测试,网上的资料比较多,自己测试实践后,整理出来一套相对比较完善的环境资料,因为网上很多下载实践的过程中,发现出现了很多不匹配的问题,什么jdk和eclipse不匹配了,Selenium和Fire Fox不匹配之类的. 一.开发环境: 1.JDK1.7:http://pan.baidu.com/s/1o7OaqvC     nybk 2.Eclipse 32位: 此文件由于分享链接无法使用,就仅在此贴图作为自己的随笔记录了(如有需要的小伙伴可以加我好友…

fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3805611.html Intellij IDEA的使用性非常好,是一个非常优秀的IDE,也是很好的scala开发工具.这里对构建Intellij IDEA的Scala开发环境进行介绍,包含在Windows环境和Ubuntu环境下的安装配置. 一.Windows环境下安装 1.安装JDK(jdk1.7.0_03) 2.安装Scala 1)下载Scala (http://download…