注意:1.搭建环境:Ubuntu64位,Linux(也有Windows的,我还没空试)       2.一般的配置jdk.Scala等的路径环境是在/etc/profile里配置的,我自己搭建的时候发现我自己在profile配置环境会有问题,比如说:我配置了spark,source了profile,启动spark是没问题的,但是当我想再次启动spark的时候,        就会启动失败,需要再source一遍profile,所以我把所有的需要配置环境的命令都写在了 ~/.bashrc文件里,只…

Hadoop在处理海量数据分析方面具有独天优势.今天花了在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.该…

2015/08/18 将知识.常用的操作整理出来一定要完整,注意细节. 就像下面是再2015.04.27时候整理的,当时确实实验成功了,但是可能忘记记下具体的细节,尤其是3.4.5.6步骤中的关于盘符的细节.所以后来我在将windows7重装为windows8之后,又需要去恢复ubuntu引导启动,但是失败了,所以还是因为自己没有整理清楚,有太多的疑问点.不确定的地方.最终也导致了我只能重装ubuntu系统,才能恢复ubuntu引导双系统,也就只能导致原来在ubuntu里面搭建的环境都没有了,,…

title: deepin/ubuntu下搭建Jekyll环境 最近用github搭建了个博客,正好也学习一下markdown语法,由于markdown写完后不是立即可见,所以每次写完文章都要经过在线调试,而在线调试就得上线文章,每次上线都得重复git add, git commit, git push这三步. 安装ruby $ sudo apt install ruby $ sudo apt-get install ruby-dev 设置国内ruby的源 $ gem sources --add…

一.在Windows7中安装Ubuntu双系统 工具/原料   windows7 64位 ubuntu 16.04 32位 UltraISO最新版(用来将镜像文件烤到U盘中) 空U盘(若有文件,请先备份) 1.为安装ubuntu16.04分配一块磁盘空间(100G) Win7自带分配磁盘的工具([计算机]->[管理]->[磁盘管理]->选中压缩盘->[右键]->[压缩卷]),只需要压缩步骤即可,不需要继续分盘符格式化等操作. 2.将镜像文件iso写到U盘 下载并安装Ultra…

在前一篇文章中,我们已经搭建好了Hadoop的群集,接下来,我们就是需要基于这个Hadoop群集,搭建Spark的群集.由于前面已经做了大量的工作,所以接下来搭建Spark会简单很多. 首先打开三个虚拟机,现在我们需要安装Scala,因为Spark是基于Scala开发的,所以需要安装Scala.在Ubuntu下安装Scala很简单,我们只需要运行 sudo apt-get install scala 就可以安装Scala了. 安装完成后运行scala -version可以看到安装的Scala的版…

最近重新安装了Ubuntu,但是之前的LAMP环境自然也就没有了,实在是不想再去编译搭建LAMP环境(这种方法实在是太费时间,而且太容易遇到各种不知道为什么的错误),所以,就去查查有没有什么简单的搭建方法.上网上查了好多博客.文章,并且自己去在自己的机器上尝试了一下,整理出下面的搭建步骤.相关的命令 1.安装 tasksel 用tasksel可以方便安装dns server, lamp, kubuntu desktop, ubuntu desktop, xubuntu之类的软件包. 这个软件在u…

.NET Core也开源了,并且可移植到Linux下,而ubuntu作为linux发行版的翘楚,极大的方便了初学者的入门,搭建完ASP.NET Core运行环境后,作为半前半后的开发人员,就继续着搭建了下nodejs的开发环境! ubuntu下搭建nodejs最简单的方式就是用ubuntu的包管理工具 ,nodejs需要python环境,而一般ubuntu发行版本中是包含有python开发环境的,因此只需要注册nodejs的软件源然后执行安装即可 apt-get update apt-get i…

首先要了解一下Hadoop的运行模式: 单机模式(standalone)        单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 伪分布模式(Pseudo-Distributed…

最近要开始搞新项目,基于arm的高通方案的项目. 那么,如何在ubuntu上搭建这个编译环境呢? 1.找到相关的安装包:http://download.csdn.net/download/storeage/7858739(我的在这里下的) 2.解压缩包到/home目录下,也可以放到其它地方,随你. 3.打开环境配置脚本:/etc/profile 看到脚本如下: # /etc/profile: system-wide .profile file for the Bourne shell (sh(1…

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不…

http://bbs.elecfans.com/jishu_487981_1_1.html 以下操作均在root用户下完成1,下载交叉编译器在ubuntu里下载arm-2010.09-62-arm-xilinxa9-linux-gnueabi.bin安装文件,,放到<myPath>/tools/中2,同步xilinx的linux kernelmkdir <myPath>/kernelcd <myPath>/kernelgit clone git://git.xilinx…

安装Spark的方式 现在有两种安装方式: 安裝spark notebook:已經把spark, scala, hadoop等等包起來了,裝好就能用GUI介面操作,適合測試用. 傳統方式安裝:慢慢裝spark, scala, hadoop等等,要做些設定,這邊就能自己掌握架設的細節. 安裝spark notebook 参考资料: 在ubuntu14.04上架設spark環境-使用spark notebook https://www.gitbook.com/book/opensourceteam/…

本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置.直接安装scala与Spark就可以在单机使用,但如果用到hdfs系统的话hadoop和jdk也要配置,建议全部安装配置好.我的博客原文地址链接:http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi.html 0.Spark的安装准备 Spark官网的文档 http://spark.apache.o…

最近在瞎折腾Unbunt,喜欢这里的干净和静谧.能留在这里,那么就得在这里工作,于是部署javaweb就成了头件大事了. 咨询了大牛,都说不会命令你玩毛玩linux,但是万万没有想到,原来ubuntu也是脑残版的部署. 都知道javaweb需要几件工具: 1,jdk: 2,eclipse; 3:tomcat; 4:mysql; 于是各种百度教程,都是一堆天书,这权限那那命令.如果你也是和我一样,linux白痴又想从头开始学习linux,那么先从第一步部署环境开始吧. 正文: 一:安装jdk和ec…

原文网址:http://www.cnblogs.com/candle806/archive/2012/12/20/2826280.html 环境描述:ubuntu server 12.04  / svn1.6  / apache2 1.先创建svn组和用户: addgroud svn useradd svn -g svn -m //新增svn用户名,-g并制定它所在的组svn,-m同时创建svn用户所在的home目录 passwd svn //设置svn用户的密码 2.安装apache2和svn…

一.准备软件 二.安装虚拟机 1.新建虚拟机向导 2.安装客户机操作系统 3.用户名密码设置 4.设置虚拟机名称和保存位置 5.处理器设置 6.设置虚拟机内存 7.然后一直next下去(有的根据自己的意识改一下有些命名,其他的按照推荐) 三.安装 Hadoop 1.先将下载好的软件放入Ubuntu的home/Downloads目录下 2.解压jdk 3.将 解压后的jdk1.7.0_79移动到/opt/java(注意在opt路径下创建java路径:mkdir java)路径下 注:有的用户不是r…

准备目录 [root@izchz ~]# mkdir /usr/local/dockerfile1 该目录下准备Dockerfile文件 FROM ubuntu MAINTAINER xbf RUN sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list RUN apt-get update RUN apt-get install -y nginx COPY index.html /var/www/htm…

目录 一.Nginx 安装 二.MySQL安装 三.PHP安装 四.配置Nginx 五.环境测试 六.服务器常用路径 一.Nginx 安装 更新软件源 sudo apt-get update 安装 Nginx sudo apt-get install nginx 配置 Nginx 1.安装 sysv-rc-con sudo apt-get install sysv-rc-conf 若未报错即安装成功,若出现以下报错 E: Unable to locate package sysv-rc-conf…

RYU环境搭建总共四步: step1:首先下载相应的python套件,并且更新pip $ sudo apt-get install python-pip python-dev build-essential $ sudo pip install --upgrade pip step2:安装RYU相关套件 $ sudo apt-get install python-eventlet $ sudo apt-get install python-routes $ sudo apt-get instal…

Mininet环境搭建分为两个步骤,如下: 1.从GITHUB上获取mininet源码到本地的opt目录下 打开Linux终端,切换目录到根目录 cd / 切换到Linux的opt目录下 cd opt 从GITHUB上获取源码:git clone git://github.com/mininet/mininet     (如果没有安装git,请先安装git) 2.安装mininet 在当前目录下创建一个新的空文件夹  mkdir MyMininet 完全安装mininet到MyMininet目录…

这种删除ubuntu的方式就是针对本博客中搭建双系统的方式:http://www.cnblogs.com/xumenger/p/4459963.html 如果ubuntu不是以wubi方式安装的,那么卸载ubuntu时要慎重,不是直接删除ubuntu所在分区这么简单的,否则你会发现你的windows系统也进不去了.那是因为如果你安装Ubuntu的时候将GRUB写入到MBR,也就是/dev/sda,(如果你每次一开机就出现GURB菜单,说明写入到MBR ).那么你卸载ubuntu的时候就将MBR重…

转载:http://jingyan.baidu.com/article/60ccbceb18624464cab197ea.html 当需要频繁使用ubuntu时,vmware虚拟机下运行ubuntu,就不是个好的选择了.为了让以后更好的学习linux,笔者今天下午琢磨了整整一下午,终于成功的在win7下安装了ubuntu13.04. 虽然网上已经有一些相关文章了,笔者也参考了很多,但很多文章对于第一次进行这些操作的人来说,一段话需要理解半天才能下手. 之所以发布这篇经验,是希望通过图文的方式,让…

单元测试不好搞阿,虽然从TDD角度出发,可测性强的代码很大程度上就代表着好的设计,但是有些情况也是没办法的,比如单例模式,比如Static方法,比如Final类,传统的Mock技术是没办法解决这些问题的,而如果单纯为了测性去修改代码,这会大大破坏代码的整体设计,所以开发不愿意搞单元测试,而测试人员更拿这不可测的代码束手无策. 好在,在Java领域,有了PowerMock! PowerMock简介 PowerMock使用自定义的类加载器和字节码操作技术,从而使得我们能够Mock: Static方法…

版本号ubuntu desktop, v12.4, v13.10. 长处: 1)绚丽易用的可视化环境: 2)丰富的可用package.在这点上比centos强太多.后者更新较慢: 不足: 1)在笔记本上执行较慢,笔记本非常快温度变高.(特别是ThinkPad上) 2)是桌面端系统.所以作为一个用来进行程序开发的人来说须要装一些其它软件,可是方便易用的package安装方式减轻了这一过程的负担: a) 基本工具:cmake, svn, OpenSSH-server sudo apt-get ins…

WordPress是一种使用PHP语言开发的博客平台,用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站.也可以把 WordPress当作一个内容管理系统(CMS)来使用.WordPress是一个免费的开源项目,在GNU通用公共许可证下授权发布. 前期准备: wordpress安装包: 官网地址http://cn.wordpress.org/ 1. 安装apache2.0 sudo apt-get install apache2 在浏览器中打开http://localhost/…

1.wget http://www.apache.org/dyn/closer.cgi/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz…

之前安装 ubuntu时候选择安装英文版,但是在查资料的时候难免的要输入中文所以自己弄了一下中文输入法的安装 我安装的是fcitx小企鹅输入法 下面介绍一下安装的过程.....   ubuntu默认的输入法是ibus,综合网上评论,fcitx的支持者更多,而且个人感觉fcitx也的确不错,可以满足日常输入. STEP1: 在Ubuntu Software Center 搜索fcitx,安装fcitx输入法框架,安装好后在任务栏右上角会出现fcitx设置图标(一个键盘). STEP2: 修改系统输…

删除 ibus输入法: sudo apt-get install ibus 我们会遇到下面的问题 Ubuntu 14.04 系统设置很多选项消失. 其实遇到这个问题的一个最主要的原因是之前执行过卸载ibus输入法的操作,所以为了避免这个问题请不要卸载ibus输入法,大家依然可以安装fcitx输入法使用.如果已经出现了这个问题,那该怎么解决呢?很简单的方法就是重新安装unity桌面.使用以下命令: sudo apt-get install ubuntu-desktop执行完以上命令之后,丢失的系统…

需要首先配置好JDK环境 参看:http://www.cnblogs.com/xumenger/p/4460055.html 安装Eclipse 在Android developer的官网上直接下载adt-bundle 直接装adt-bundle,即eclipse+android sdk捆绑好,解压即用,这种方法极好,我用的是adt-bundle-linux-x86_64-20131030.zip 命令: unzip adt-bundle-linux-x86_64-20131030.zip 将解…