每次接触一个新的知识之前我都抱有恐惧之心,因为总认为自己没有接触到的知识都很高大上,比如上篇介绍到的Hadoop的安装与使用与本篇要介绍的Spark,其实在自己真正琢磨以后才发现本以为高大上的知识其实也不过如此. 由于Spark是最新火起来的处理大数据的框架,国内教程资源少之甚少,所以本篇文章是本人在看了Spark官网的快速入门教程后总结下来的经验,由于Spark同Hadoop一样可以运行在多种模式下,而本人又比较穷只有一台电脑,所以本篇文章为大家介绍如何在mac系统的本地模式下安装Spark以

1.安装scala 从http://www.scala-lang.org下载scala-2.11.7.tgz并解压缩 将解压缩的文件夹用mv指令移动到/usr/local/share mv [scalapath] /usr/local/share 修改/etc/profile文件权限. sudo vim /etc/profile 添加path:   把下面的一行代码加入到profile文件末尾 export PATH="$PATH:/usr/local/share/scala-2.11.7/bi

1. 从官网下载Spark安装包,解压到自己的安装目录下(默认已经安装好JDK,JDK安装可自行查找): spark官网:http://spark.apache.org/downloads.html 2. 进入系统命令行界面,进入安装目录下,如"/安装目录/spark-1.6.0-bin-hadoop-2.6.0 ",输入命令"./bin/pyspark"验证pyspark能否运行,再输入命令“./bin/spark-shell”,查看scala环境能否运行.成功的

当前  Windows10 系统的预览版已经出来,对于新系统感兴趣的不只是使用 PC 电脑的用户,还有一些是当前正在使用 Mac 系统的用户.其实安装 Windows 10 与以前安装 Windows 系统的操作步骤都差不多,这里简单介绍下怎么在 Mac 下安装 Windows10 的操作方法.(安装完系统后不要忘记安装bootcamp目录下的驱动程序,该驱动程序可以在win10下启用触控板和键盘的功能)   工具/原料 Mac.Windows10 镜像.U盘 准备条件 1 首先需要我们前往微软

搭建单机CDH环境,并更新spark环境 1,安装VMWare Player,http://dlsw.baidu.com/sw-search-sp/soft/90/13927/VMware_player_7.0.0_2305329.1420626349.exe 2,启动BIOS虚拟化,http://www.cnblogs.com/stono/p/8323516.html 3,下载CDH QuickStart版本,https://downloads.cloudera.com/demo_vm/vmw

完全搞清楚项目需求,思考项目选项,这块就是使用的是数据库,就是HBase,因为它里面有一个非常合适的API,直接调用,即可 功能一: 今天到现在为止 实战课程 的访问量 yyyyMMdd 使用数据库来进行存储我们的统计结果 Spark Streaming吧统计结果写入到数据库里面 可视化前端根据: yyyyMMdd courseid 把数据库里面的统计结果展示出来 选择什么数据库为统计结果的存储呢? RDBMS: MySQL.Oracle... day course_id click_count

一. 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二.预先安装 1. 安装JDK 2. 安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys mac 启动sshd sudo launchctl load -w /System/

Mac的Lion系统,虽然不像Windows那样需要经常重装,但也难免会有要重置的时候,比如更换硬盘.本文介绍如何利用Mac的联网恢复系统进行Lion系统的在线恢复.Mac的在线恢复系统只在近几年的机型上才有,在进行系统恢复前,请您先备份好硬盘中的数据. 恢复步骤: 1.按开机按钮后,按住Option键不放,当出现启动磁盘选择画面时,按下Command+R键,进入Recove System. 2.在下方网络选择中,选择相关的无线连接,进行网络链接,Recove System将进行漫长的下载[在国

大数据情结 还记得上次跳槽期间,与很多猎头都有聊过,其中有一个猎头告诉我,整个IT跳槽都比较频繁,但是相对来说,做大数据的比较"懒"一些,不太愿意动.后来在一篇文中中也证实了这一观点,分析说大数据领域从业者普遍认为这是一个有前景,有潜力的方向,大多数希望有所积累,所以跳槽意愿不是很强烈. 14年的时候开始接触Hadoop,在Windows下搭了好几次环境,单机版.伪分布式和分布式都搭建过.那时候需要在Windows下装个虚拟机,在虚拟机中再装个Ubuntu,之后在Ubuntu上开始装j

1.安装jdk 2.下载scala-ide.官网:http://scala-ide.org 3.安装maven 4.在eclipse中,配置maven的安装了路径.偏好设置--->maven--->installpath 5.修改maven的镜像文件,即setting.txt中的mirror.具体修改为如下: <mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</nam

转:https://blog.csdn.net/feibozhulang/article/details/43734109 苹果官网说明: https://support.apple.com/en-us/HT201372 方法1: 在线下载重装 1. 关闭电脑,同时按住 command option R,然后开机,直到看到屏幕上出现一个地球才松开键盘上的键:2. 如果尚未联网, 地球下面会出现下拉菜单让您选择网络 , 联网之后开始读取进度条:3. 进度条走完后电脑会重启,进入 “OS X 实用工

Mac配置Scala和Spark最详细过程 原文链接: http://www.cnblogs.com/blog5277/p/8567337.html 原文作者: 博客园--曲高终和寡 一,准备工作 1.下载Scala http://www.scala-lang.org/download/ 拖到最下面,下载for mac的版本 2.下载Spark http://spark.apache.org/downloads.html 记得选版本啊,如果你是按照我之前的 Mac配置Hadoop最详细过程 配置

若邮箱之前有人使用,需要重新安装.在卸载程序之后,发现仍旧无法重新配置新的账号. 此时需要删除用户目录下的2个文件: /Library/Application Support/IBM Notes Data /Library/Preferences/Notes Preferences 由于lotus未做更新,NOTES_9.0.1_MAC_EN.dmg版本的软件无法在OSX系统下安装,会提示版本不支持. 此时需要修改软件包中的文件. 将.dmg中软件执行程序拖拽到桌面上再进行编辑,目录为: NOT

1.Scala 官网下载scala安装包后解压,路径随意. 编辑/etc/bash_profile添加$SCALA_HOME并修改相应PATH 2.SSH无密码登陆 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-keygen表示生成秘钥:-t表示秘钥类型:-P用于提供密语:-f指定生成的秘钥文件.这个命令在”~/.ssh/“文件 结果显示: Generating public/private rsa key pair. Created director

系统升级到 Sierra 之后,npm 经常出问题,最终把 node 卸载了,安装了新版本.mac 卸载 node 比较麻烦,stackoverflow 上面找到一个方法还不错,特地记录下来,代码如下: 首先运行脚本 lsbom -f -l -s -pf /var/db/receipts/org.nodejs.pkg.bom | while read f; do sudo rm /usr/local/${f}; done 接着 sudo rm -rf /usr/local/lib/node /u

Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录     Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : export HADOOP_HOME=/Users/fan/Applications/hadoop-2.6.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 配置 HDFS : etc/hadoop/core-site.xml: <con

一段时间没用MySQL,今天使用时突然发现启动不了了,怎么点start都没用,或者输入密码了  还是没用... 好急...找了一圈资料,没发现特别好的解决办法,只能使用大招了-----><卸载重装> 步骤如下: 1.先卸妆MySQL,终端执行: sudo rm /usr/local/mysql sudo rm -rf /usr/local/mysql* sudo rm -rf /Library/StartupItems/MySQLCOM sudo rm -rf /Library/Pref

虽然有了一些新生派竞品比如yarn,但使用或者习惯了npm的开发者仍然大有人在. 以前用起来没注意到这个现象,最近一段时间发现,每次随着使用brew upgrade自动升级了nodejs版本,原来安装的nodejs扩展包就不起作用了,还需要重新安装一遍.再加上一些扩展包存储网站被墙的问题,这个过程真是令人痛不欲生. 今天比较闲了研究了一下,发现原来的扩展包都是通过npm安装到/usr/local/lib/node_modules目录.这种设置每次升级并不影响不同版本nodejs同扩展包的配合.不

首先注意版本兼容问题!!!本文采用的是Scala 2.11.8 + Hadoop 2.7.5 + Spark 2.2.0 请在下载Spark时务必看清对应的Scala和Hadoop版本! 一.配置JDK 1. 下载jdk http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2. 配置环境变量 (1)在终端使用 sudo su 命令进入root用户模式: (2)使用 vim /etc

mac还是使用brew install简单一些:最好使用一种安装方式,不要多种方式互用: 更新npm到最新版本npm install -g npm更新npm到指定版本 npm -g install npm@2.9.1 指定安装目录npm install --prefix /usr/local -g npm 1.从官网https://nodejs.org/en/下载pkg包安装: 2. 安装node brew install node npm升级 npm是随着nodejs安装一并安装的. 更新np