每次接触一个新的知识之前我都抱有恐惧之心,因为总认为自己没有接触到的知识都很高大上,比如上篇介绍到的Hadoop的安装与使用与本篇要介绍的Spark,其实在自己真正琢磨以后才发现本以为高大上的知识其实也不过如此. 由于Spark是最新火起来的处理大数据的框架,国内教程资源少之甚少,所以本篇文章是本人在看了Spark官网的快速入门教程后总结下来的经验,由于Spark同Hadoop一样可以运行在多种模式下,而本人又比较穷只有一台电脑,所以本篇文章为大家介绍如何在mac系统的本地模式下安装Spark以…

一.安装spark 1.官网下载最新tar文件 2.解压 3.安装java开发环境 3.1.安装下载java 8  https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 必须是java 8,更高版本的java不行 下面一步可选 3.2.配置java环境变量,将一下内容添加到~/.bash_profile中,然后source ~/.bash_profile JAVA_HOME=/Li…

1.安装scala 从http://www.scala-lang.org下载scala-2.11.7.tgz并解压缩 将解压缩的文件夹用mv指令移动到/usr/local/share mv [scalapath] /usr/local/share 修改/etc/profile文件权限. sudo vim /etc/profile 添加path:   把下面的一行代码加入到profile文件末尾 export PATH="$PATH:/usr/local/share/scala-2.11.7/bi…

安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/profile #scala export SCALA_HOME=/opt/scala-2.11.7 #CLASSPATH export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib #PATH export PATH=$PATH:$SCALA_HOME/bin 保存退出…

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet…

问题:mac安装tensorflow过程中,爆出oserror:permission denied 解决方案:关闭mac的sip,然后sudo安装 关闭sip的方法:重启mac,按住command+R,进入命令行,输入csrutil disable,重启电脑…

Mac 安装activate-power-mode atom 标签: atommac 2015-12-02 14:53 308人阅读 评论(0) 收藏 举报  分类: git(2)  版权声明:本文为博主原创文章,未经博主允许不得转载. 先不废话,上效果图  最近被这个atom的效果图刷屏了,所以自己也跃跃欲试来尝试一下,我的操作系统是mac OS X El Caption,版本10.11.1,陈述一下这个过程中遇到的一些问题. 安装atom.第一步当然是要安装atom了,附上mac版下载地址A…

Mac安装ctags mac 系统有自带的ctags,但是不支持"ctags -R"指令,需要自己在安装Exuberant Ctags 1.下载ctags 2. 安装 ./configure --prefix=$HOME //指定安装路径 make make install 3. 设置路径 在.profile文件中导入新安装的ctags的路径 export PAHT="$HOME/bin:$PATH"…

ubuntu php 安装swoole 比较容易 1. 从git下载源码 2. 下载pcre http://sourceforge.net/projects/pcre/files/pcre/8.36/ ./configure make &make install 3. 进入swoole 源码 phpize ./cofigure make &make install 编辑php.ini 添加extension = swoole.so 重启apache 生效 mac 安装swoole 我的ma…

Mac安装Scrapy Mac版本 10.11 El Captain. 前一段想在Mac上用Scrapy,各种问题.有一个不错的工具:Anaconda. 安装Anaconda 下载地址 我还是下python2_7版本的,Scrapy在这个版本是最稳定的. bash Anaconda2-4.1.1-MacOSX-x86_64.sh 换更新源 默认的源在国外,国内使用的时候速度不是很快,可以换成清华TUNA的源: conda config --add channels 'https://mirror…

1.brew search nginx 2.brew install nginx 启动nginx ,sudo nginx ;访问localhost:8080 发现已出现nginx的欢迎页面了. 备注: ln -s  /usr/local/sbin/nginx /usr/bin/nginx 做个软连接.[——根据具体目录而定]常用的指令有: nginx -V 查看版本,以及配置文件地址nginx -v 查看版本nginx -c filename 指定配置文件nginx -h 帮助 #重新加载配置|…

一.安装mongo数据库 下载链接https://www.mongodb.org/downloads, 在执行如下命令的时候事先按照目录新建如下的目录:(如果数据库安装在D盘就在D盘的根目录下建)"C:\data\dbConf\mongodb.log""C:\data\db" 为了从命令提示符下运行MongoDB服务器,你必须从MongoDB目录的bin目录中执行mongod.exe文件:mongod.exe --bind_ip 127.0.0.1 --logpat…

机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装 安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定. 同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:…

安装spark 安装hadoop 安装ssh,调试免密钥登录 配置hadoop 配置yarn 测试…

记得2015年在mac系统上安装过一次caffe,非常顺利,但是最近群里许多同学反映mac安装caffe出现了各种问题,同时我也在帮助别人安装caffe的时候也遇到了一些坑,不再像以前这么顺利了.估计与操作系统,caffe升级有关.今晚我重新装了一遍caffe,记录下了整个安装过程,希望对各位同学有用.mac os 版本:10.11.4xcode 版本: 7.2 1. 安装Homebrew homebrew是一个包管理器,是用来安装各种包的安装器.安装方法也很简单,直接看主页吧.http://b…

mac安装linux 安装linux,分为两步: 1. 制作linux启动U盘 2. 通过启动U盘,安装Ubuntu系统 Mac OS X下创建USB启动盘 格式化USB驱动盘 下载Ubuntu桌面版本,Ubuntu有mac版本 ISO转成IMG格式 hdiutil convert -format UDRW -o ~/Path-to-IMG-file ~/Path-to-ISO-file 获得USB盘设备号 Mac OS X中创建可启动的USB驱动盘 完成可启动USB驱动盘处理 注意:上面,我只…

Mac安装的Mysql5.7.10 执行mysql -u root -p 就要求输入密码,但是新安装是没密码的.然后就会报错. ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO) 百度Google很久才把问题解决,下面是解决方法: 1.关闭MySQL服务: 执行sudo /usr/local/mysql/support-files/mysql.server stop或者在系统偏好设置…

MAC 安装Ruby On Rails 对于新入门的开发者,如何安装 Ruby, Ruby Gems 和 Rails 的运行环境可能会是个问题,本页主要介绍如何用一条靠谱的路子快速安装 Ruby 开发环境. 次安装方法同样适用于产品环境! 1. 安装系统必备开发组件XCODE 打开AppStore,搜索XCODE,下载安装. 2.打开终端,安装Homebrew. ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/in…

mac安装GNU命令行工具 2.添加的repo     tap home/dupes        brew install coreutils  binutils  diffutils  ed --default-names  findutils --default-names  gawk  gnu-indent --default-names  gnu-sed --default-names  gnu-tar --default-names  gnu-which --default-name…

在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件. 安装服务 选择on yarn 模式:上面 Spark 在spark 服务中添加 在yarn 服务中添加 getWay 后重新 启动服务端 用hdfs 用户进入 spark bin 目录 cd /opt/cloudera/parcels/CDH/lib/spark/bin 执行 ./spark-submit --class org.apache.spark.examples.SparkPi --maste…