在前一篇文章中,我们已经搭建好了Hadoop的群集,接下来,我们就是需要基于这个Hadoop群集,搭建Spark的群集.由于前面已经做了大量的工作,所以接下来搭建Spark会简单很多. 首先打开三个虚拟机,现在我们需要安装Scala,因为Spark是基于Scala开发的,所以需要安装Scala.在Ubuntu下安装Scala很简单,我们只需要运行 sudo apt-get install scala 就可以安装Scala了. 安装完成后运行scala -version可以看到安装的Scala的版…

安装Spark的方式 现在有两种安装方式: 安裝spark notebook:已經把spark, scala, hadoop等等包起來了,裝好就能用GUI介面操作,適合測試用. 傳統方式安裝:慢慢裝spark, scala, hadoop等等,要做些設定,這邊就能自己掌握架設的細節. 安裝spark notebook 参考资料: 在ubuntu14.04上架設spark環境-使用spark notebook https://www.gitbook.com/book/opensourceteam/…

在Ubuntu下搭建ASP.NET 5开发环境 0x00 写在前面的废话 年底这段时间实在太忙了,各种事情都凑在这个时候,没时间去学习自己感兴趣的东西,所以博客也好就没写了.最近工作上有个小功能要做成Web应用,之前曾经有过类似需求,当时用的是WCF做WebAPI,前端用ExtJS.这次需求不关键,只要能解决问题就好,具体用什么技术无所谓,正好赶上ASP.NET 5发布,所以打算尝试一下.在Windows下借助强大的VS一路安装就解决问题了,不过ASP.NET5跨平台啊,决定试一下在Linux下…

Windows下搭建Spark+Hadoop开发环境需要一些工具支持. 只需要确保您的电脑已装好Java环境,那么就可以开始了. 一. 准备工作 1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装) 下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/ 下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录. 2. 下载支持插件 下载地址:…

最新教程:http://www.cnblogs.com/linezero/p/aspnetcoreubuntu.html 无需安装mono,在Linux(Ubuntu)下搭建ASP.NET Core环境 继续.NET跨平台 上一篇:使用VS Code开发ASP.NET Core 应用程序 今天来学习一下ASP.NET Core 运行在Ubuntu中.无需安装mono . 环境 Ubuntu 14.04.4 LTS 服务器版 全新安装系统. 下载地址:http://mirrors.neusoft.…

Ubuntu下搭建NodeJS+Express WEB开发框架 2012-12-27 15:06 作者: NodeJSNet 来源: 本站 浏览: 2,966 次阅读 我要评论暂无评论 字号: 大 中 小 摘要: 本文主要对前人所写文章的总结,包括自己在安装node.js 和express过程中遇到的问题.以备后用,同时能让正在学习node.js 的人少走一些弯路. 1.安装环境,由于对linux是菜鸟级别,所以在虚拟机上安装的一个ubuntu11.10 随便玩玩,虚拟... 本文主要对前人所写…

1 搭建Android SDK开发环境 参考在在Ubuntu下搭建Android SDK开发环境(图文)首先在Ubuntu下搭建Android SDK开发环境. 2 下载NDK开发包 打开官网: http://developer.android.com/sdk/ndk/index.html 下载NDK 开发包,当前最新版本是r7b,如下图: 下载解压到 ~/bin 目录下,有关如何解压tar.bz2压缩包,请参考链接:linux下各种解包打包命令大全 3 配置NDK环境参数 打开 ~/.bash…

在Ubuntu下搭建ASP.NET 5开发环境   0x00 写在前面的废话 年底这段时间实在太忙了,各种事情都凑在这个时候,没时间去学习自己感兴趣的东西,所以博客也好就没写了.最近工作上有个小功能要做成Web应用,之前曾经有过类似需求,当时用的是WCF做WebAPI,前端用ExtJS.这次需求不关键,只要能解决问题就好,具体用什么技术无所谓,正好赶上ASP.NET 5发布,所以打算尝试一下.在Windows下借助强大的VS一路安装就解决问题了,不过ASP.NET5跨平台啊,决定试一下在Linu…

由于整个学校相当于一个大型局域网,相互之间传送数据非常快,比如要共享个电影,传点资料什么的. 所以我们可以选择搭建一个FTP服务器来共享文件. 那么问题来了,有的同学会问,我们既然在一个局域网内,直接用QQ传也很快啊,干嘛要搭建FTP服务器? 那么告诉大家,如果两人不能同时在线呢?离线文件?传离线文件不就不走局域网了吗? 还有如果你想一个人给多个人同时发呢?一个一个发?网盘链接?算了吧,等到花儿都谢了都下不完- 所以,明智的选择,FTP服务器. 在学校拥有了一台服务器之后,我可以把自己的资料或者…

Ubuntu下搭建FTP服务器 我装的服务器系统是Ubuntu 12.04 LTS,FTP软件当然是选择大名鼎鼎的vsftpd(very secure FTP daemon), 用系统自带的FTP还好Ubuntu装vsftpd还是很简单,一句命令就行: 命令执行过程中,安装程序会给本地创建一个名为“ftp”的用户组,命令执行完之后会自动启动FTP服务. 可以使用“netstat -tl”命令检查FTP端口有没有已经打开,或者直接在浏览器里输入“ftp://你的服务器IP”(新安装的vsftpd默…

title: deepin/ubuntu下搭建Jekyll环境 最近用github搭建了个博客,正好也学习一下markdown语法,由于markdown写完后不是立即可见,所以每次写完文章都要经过在线调试,而在线调试就得上线文章,每次上线都得重复git add, git commit, git push这三步. 安装ruby $ sudo apt install ruby $ sudo apt-get install ruby-dev 设置国内ruby的源 $ gem sources --add…

.NET Core也开源了,并且可移植到Linux下,而ubuntu作为linux发行版的翘楚,极大的方便了初学者的入门,搭建完ASP.NET Core运行环境后,作为半前半后的开发人员,就继续着搭建了下nodejs的开发环境! ubuntu下搭建nodejs最简单的方式就是用ubuntu的包管理工具 ,nodejs需要python环境,而一般ubuntu发行版本中是包含有python开发环境的,因此只需要注册nodejs的软件源然后执行安装即可 apt-get update apt-get i…

[ubuntu下搭建svn服务器] 1.创建目录 mkdir ~/svn/repository/ 2.创建仓库 svnadmin create repository 3.进入 repository/conf/ 目录,修改 svnserve.conf,将以四行代码打开 anon-access = none auth-access = write password-db = passwd authz-db=authz 4.编辑 passwd,在[users] 下加入一行. username=pass…

今天开始调试ARM的板子,要通过tftp下载到板子上,所以又要配置tftp服务器,真的烦死了… (本人酷爱装系统,所以经常都要搞配置) 因为之前已经在Ubuntu下搭建过很多次tftp服务器了,但是一直记不住那一个配置文件的名字(记性太差),所以每次都要百度. 可是每次百度出来的结果都不一样,而且出入很大,有的过程相当的繁琐,不仅很麻烦,而且搞到最后还没有配置成功.所以干脆写个日志记下来. tftp服务器最简单安装配置 1.安装tftp-server sudo apt-get install t…

[ubuntu下搭建node server的几个坑] 1.环境变量 process.env.PORT需要使用 export PORT=80设置 windows下是set PORT=80 2.命令连结 linux下是&&(两个),而windows下是&(1个) linux:export PORT=80 && node ./bin/www windows:set PORT=80 & node ./bin/www 3.80端口必须root权限才能开启,否则会出错.…

  多次尝试才正常启动了Fabric,如遇到各种莫名错误,请参考如下一步步严格安装,特别用户权限需要注意. 一.安装Ubuntu16 虚拟机或双系统,虚拟机有VirtualBox或者VMware,Ubuntu 16.04镜像安装好. 打开系统设置,选择软件和更新 , 然后在下载自:中选择aliyun   二.安装基础工具 注意操作用户是自建用户,不是root,特别一些命令涉及用户目录的地方要特别注意 首先安装一些常用工具   sudo apt-get update   sudo apt-get…

如果说android系统的卡,像耳边蚊子让人抓狂,那么android模拟器的卡,那就像午睡时的苍蝇.大概就是一样的恶心~~ 那么,这样的问题对于开发者肯定忍无可忍,我也一样,虽然我还没有入门,但我也一样纠结,为什么会这么卡??这么卡?我是i5 4G内存啊~~ 解决: 第一种解决方法(也算是比较直接,比较烧包的办法): 用真机调试~方法上篇文章有谈论,请看ubuntu下搭建android开发环境: 烧包原因:我不能兼容每个系统版本,每种型号机器,每种屏幕大小,都去搞台真机对吧~ 第二种解决方法:…

代码地址如下:http://www.demodashi.com/demo/11986.html 前些时间做了关于Apache Nifi分布式集群的搭建分享,但很多时候要搭建分布式集群机器资源是个问题,而现在的单机的配置还是相当不错的,故现在就做个关于Windows上搭建个伪分布式集群的分享,同时通过另外一种方式实现Apache Nifi的授权认证. 系统环境及软件版本 Windows8.1 JDK1.8.0_131 Nifi-1.4.0 Nifi安装目录 WEB端口 xxx\nifi-ncm 9…

远程桌面连接工具   今天开始调试arm的板子,要通过tftp下载到板子上,所以又要配置tftp服务器,真的烦死了… (本人酷爱装系统,所以经常都要搞配置) 因为之前已经在Ubuntu下搭建过很多次tftp服务器了,但是一直记不住那一个配置文件的名字(记性太差),所以每次都要百度. 可是每次百度出来的结果都不一样,而且出入很大,有的过程相当的繁琐,不仅很麻烦,而且搞到最后还没有配置成功.所以干脆写个日志记下来. tftp服务器最简单安装配置 1.安装tftp-server sudo apt-ge…

注意:1.搭建环境:Ubuntu64位,Linux(也有Windows的,我还没空试)       2.一般的配置jdk.Scala等的路径环境是在/etc/profile里配置的,我自己搭建的时候发现我自己在profile配置环境会有问题,比如说:我配置了spark,source了profile,启动spark是没问题的,但是当我想再次启动spark的时候,        就会启动失败,需要再source一遍profile,所以我把所有的需要配置环境的命令都写在了 ~/.bashrc文件里,只…

转自:http://jingyan.baidu.com/article/86fae346b696633c49121a30.html JAVA开发环境是一种跨平台的程序设计语言,可以在windows.LINUX等操作系统上进行开发.小编以前是做LINUX C开发的,最近因为工作,需要在UBUNTU下进行java开发环境的搭建,故写下这篇经验,和大家共享.参考.本篇经验分四步: 1)下载JDK 2)下载eclipse 3 ) 安装JDK 4)安装eclipse 工具/原料   UBUNTU ecli…

之前做三星的6410是在红帽下做的,现在公司给了个TI的AM3359的开发板,开发环境是ubuntu10-04.这周经过半天的研究对比,终于算是搭好tftp下载的一些服务了. [防火墙] sudo ufw disable防火墙在系统启动时自动禁用sudo ufw enable防火墙在系统启动时自动启动 以上是在ubuntu下进行的,而原来在redhat下是通过setup命令进行防火墙的关闭操作. 这里要禁用防火墙,这点很重要. [搭建tftp] cd / sudo mkdir tftpboots…

ubuntu下怎么搭建apache+python运行环境,可以参考http://www.01happy.com/ubuntu-apache-mod-python/ ,这里只是简单的记录下步骤,本文主要讲一些配置(原文中配置有问题): 1.安装apache:sudo apt-get install apache2 2.安装mod_python模块:sudo apt-get install libapache2-mod-python 3.修改配置文件: 修改/etc/apache2/sites-en…

1.搭建matplotlib环境 构建matplotlib运行环境,需要满足相关软件环境. numpy库提供大数据集的数据的数据结构和数学方法.诸如元组.列表或字典等python的默认数据结构同样可以很好的支持数据的插入.删除和谅解.NumPy的数据结构支持矢量操作,使用简便,同时具有很高的执行效率.矢量操作在实现时充分考虑了大数据的需要,基于C语言的方式也保证了执行效率. 基于Numpy的scipy库,是Python的标准科学计算和数学计算工具包,包含了大量的专用函数和算法.大部分函数和算法源…

有时候我们会在windows 下开发spark程序,测试程序运行情况,再部署到真实服务器中运行. 那么本文介绍如何在windows 环境中搭建简单的基于hadoop 的spark 环境. 我的windows环境为 Win7 64位 第一步,安装Python环境 这里不多讲,我的环境为python 3.6 第二步,安装Java 环境 我的环境为 C:\Users\Boss>java -versionjava version "1.8.0_91"Java(TM) SE Runtime…

一.使用apt-get方式为Ubuntu安装PHP+MYSQL+Apache   分别执行如下命令:   (1)安装MYSQL   sudo apt-get install mysql-server   sudo apt-get install mysql-client   (2)安装Apache   sudo apt-get install apache2   (3)安装PHP   www.2cto.com   sudo apt-get install php5   sudo apt-get…

     前两篇介绍了cocos2d-x 下linux开发环境配置和android 环境配置问题.在这其中遇到很多问题,所以最后一篇分享一下在处理这些问题时,我是如何解决的,是怎么想的.同时总结一些解决这类问题的方式.避免少走弯路.首先通过问题列表的形式来回答一下部署遇到的基本问题. 一.问答列表 1.ubuntu下不能识别手机问题     这是因为android sdk 中 platform-tools下大adb没有权限访问设备的信息,所以在设备管理器中显示一堆乱码,解决这个问题的方式就是通过…

    上篇文章里讲了在ubuntu下部署cocos2d-x开发环境,这篇文章主要示范在ubuntu下部署cocos2d-x android开发环境.分开写就是因为我看很多文章里都将这两件事情混杂着写.这样在其他人查阅的时候,会有很多的噪音.其实这也是互联网的一大特色,有海量的信息,但其中充斥着大量的无用信息.google的出现帮大家将海量的资源整理查找出来,但google也不是万能呢,它只能帮你把信息找出来,但信息是如何组织结构的,或者说信息的排列顺序是google无法识别的.     在这篇…

    这大半年一直在开发flash游戏,用到的编程语言是actionscript和c++.所以这次公司决定开发手游端的话,C++不是很生疏,这是个好消息.坏消息是由于现在网页游戏还没有上线,所以公司并没有给配备mac电脑.好吧,之前由于一直在用Mac开发,所以很喜欢这种开发环境.没有杀毒软件的骚扰,很多工具直接是集成的.漂亮的界面.都指引我选择Unix平台,由于没那么多钱买个macbook pro,只能拿起ubuntu先用着了.    在部署开发环境的时候遇到了很多问题,并且发现网上的资料有很…

JDK安装: 1. 在http://www.oracle.com/technetwork/java/javase/downloads/index.html上下载相应版本的JDK环境,这里我使用的是jdk-7u45-linux-x64.tar.gz. 2. 我一般把非系统软件安装到/opt下. sudo cp /home/yourname/Downloads/jdk-7u45-linux-x64.tar.gz /opt cd /opt sudo tar -zxvf jdk-7u45-linux-x…