周围环境: Unbunt 12.04 Hadoop 2.2.x Sprak 0.9 Scala scala-2.9.0.final.tgz 一步 1. 下载 scala 2. 解压scala,然后改动/etc/profile,加入例如以下 export SCALA_HOME=/home/software/scala-2.9.0.final export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:/home/software/…

简介 有三种运行通过SDK创建的应用程序的方式:在桌面上,在联网的Ubuntu设备上,以及在仿真器中.这些方式为互补性方式,因为各有优缺点.您首先将了解如何管理SDK的设备类型,以及哪一个类型用于测试应用程序的不同方面. 设置设备工具包 设备工具包是SDK的一个重要概念:它们使您能够为数个设备和架构生成应用程序,无论您的开发环境如何.如果您还未添加任何设备工具包也不必担心,在您启动新项目时,您始终可以创建新工具包. 请查看工具包上的文件详细了解这些类型,或只需遵循后续步骤. 在首次创建项目时,S…

安装spark 安装hadoop 安装ssh,调试免密钥登录 配置hadoop 配置yarn 测试…

1.先得准备环境,需要JAVA环境,还有Python环境(默认会有) JAVA下载JDK之后配置JAVA环境变量 export JAVA_HOME=/opt/jdk1..0_45 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH 2.下载spark,配置变量 export SP…

一.安装vmware虚拟机 二.在虚拟机上安装ubuntu12.04操作系统 三.安装jdk1.8.0_25 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意:下载操作系统对应版本的jdk 解压: tar -xzvf jdk-8u25-linux-i586.tar.gz 配置环境变量参数 sudo gedit /etc/profile export JAVA_HOME=/h…

简单步骤: 前提:hadoop 环境搭建(我的是伪分布式) 1.官网下载spark 2.spark部署(单机模式): (1)解压 (2)移动文件到自定义目录下(同时修改文件名-原来的名字太长) (3)修改 !配置文件:spark-env.sh [ spark与hdfs可以数据交互 ] 3.检测spark安装: 运行run-example实例 详情参考:http://dblab.xmu.edu.cn/blog/1307-2/…

环境: Unbunt 12.04 Hadoop 2.2.x Sprak 0.9 Scala scala-2.9.0.final.tgz 步骤 1. 下载 scala 2. 解压scala,然后改动/etc/profile,加入例如以下 export SCALA_HOME=/home/software/scala-2.9.0.final export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:/home/software/ec…

在Ubuntu 13.04 Raring Ringtail安装完成之后,我们还有三十项调整需要进行. 1.Ubuntu 13.04 Raring Ringtail安装完毕后,我又进行了一系列工作 大家想知道Ubutnu最新版本带来哪些新内容吗?我认为其中引发讨论最多的话题在于,与前代版本相比(即12.10'Quantal Quetzal')新系统的性能表现并不理想.它不仅延迟明显,而且存在严重的稳定性问题.Raring Ringtail也并不在黄油计划的适用范围之内.但无论如何,Ubuntu 1…

1,首先确保hadoop和spark已经运行.(如果是基于yarn,hdfs的需要启动hadoop,否则hadoop不需要启动). 2.打开idea,创建maven工程.编辑pom.xml文件.增加dependency. <dependency> <!-- Spark dependency --> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifac…

Ubuntu 安装Spark出现的问题及解决 最近在搭建Hadoop集群环境和Spark集群环境,出现的问题可能不太复杂,纯粹记录安装步骤和问题解决办法.集群环境使用的是(2台)阿里云主机,操作系统是Ubuntu 16.04.9版本 运行环境 Linux 操作系统:Ubuntu 16.04.9Spark 安装版本(红色箭头的是下图安装报错的版本) 报错信息: 原因:没有用对Spark安装包,应该选择Hadoop编译后的安装包.在http://spark.apache.org/官网选择Pre-bu…

对于不连接显示器的Ubuntu设备,通过直接拔电源或者长按电源键是普遍的关机方法,但这种方法长期势必会对设备造成损坏. 下面设置电源键软关机(短摁电源按钮关机)的方法可以解决此问题.(默认摁电源键会弹出确认按钮) 1. gedit /etc/acpi/events/powerbtn2. 注释掉最后一行action (前面加#)#action=/etc/acpi/powerbtn.sh3. 添加一行:action=/sbin/poweroff4. 重启acpi或者重启机器:acpid restar…

Ubuntu仿真器是开发过程中非常有用,尤其是在没有任何Ubuntu设备时.在将仿真器附加到SDK后,你便可以在上面运行程序,安装点击数据包,等等,类似在物理设备上的操作一样. 在这里,您可以了解如何从Ubuntu SDK使用Ubuntu仿真器,包括: 创建仿真器 启动仿真器 将仿真器附加到SDK 打开连接到仿真器的根shell 注意:Ubuntu仿真器正在进行快速开发,包括其在SDK中的支持.因此保持敏捷,时刻关注新信息,以及时刻注意最新变化! 提示:为获得一流的Ubuntu仿真器和SDK体验…

Synergy屏幕共享键鼠(for Mac&Ubuntu) 1.   简介 一套键盘和鼠标,操控多台电脑,下面介绍下Mac和Ubuntu之间的共享.(synergy分为服务端和客户端,把插着鼠标和键盘的机器设为服务端,把其他的设为客户端). 2.   Mac上配置 下载synergy软件: 链接: https://pan.baidu.com/s/1mihQlNa 密码: xxd3 解压安装: 注意:安装完成之后,打开应用的时候会遇到权限问题,即便在 系统偏好设置 ->安全与隐私 ->…

开始 起因 因为工作需求经常要远程 局域网内的 Ubuntu设备 之前用的一直是 Teamviver 但是最近不知怎么了,Teamviver发病 打不开了,也懒得折腾了! 简单的记录一下 能用的几种连接方式 方法 VNC 百度随便一搜,都是介绍使用自带的VNC 我尝试了一下,轻度使用 感觉还可以,只需要配置一下,无需安装软件 但是觉得跟Teamviver比 还是差了点意思~ 优点: ubuntu 下无需安装软件,只需要简单的设置一下 缺点: ubuntu 中复制的东西 ,无法粘贴到物理机(不知道…

前言 之前给大家分享过opencv在jetson nano 2gb和ubuntu设备中使用并且展示了一些人脸识别等的小demo.但是对于图像处理,使用gpu加速是很常见 .(以下概念介绍内容来自百科和网络其他博主文章) GPU介绍(从GPU诞生之日起,GPU的设计逻辑与CPU的设计逻辑相差很多.GPU从诞生之日起,它的定位是3D图形渲染设备.在设计GPU时从其功能出发,把更多的晶体管用于数据处理.这使得GPU相比CPU有更强的单精度浮点运算能力.人们为了充分利用GPU的性能,使用了很多方法.这)…

目前自动驾驶域控制器项目中使用了英伟达的Orin芯片+Ubuntu20.04系统.域控属于典型的Headless设备,开发调试时需要连接显示器(HDMI/DP).鼠标和键盘,或者使用NoMachine.VNC.ToDesk.向日葵等远程桌面工具.其中NoMachine功能最强大,兼容性也最好,支持各主流操作系统和嵌入式设备如树莓派等,详细信息请参考<Get started with NoMachine>.VNC是英伟达官方推荐的Jetson远程桌面软件,详细信息请参考<Setup VNC…

我使用Kali Linux的IP地址是192.168.0.112:在同一局域网内有一台运行Windows XP(192.168.0.108)的测试电脑. 本文演示怎么使用Metasploit入侵windows xp sp3. 启动msfconsole: # msfconsole 选择一个漏洞: msf > search platform: windows xp sp3 exploit/windows/smb/ms08_067_netapi是08年发现的漏洞,等级Great. 查看某个漏洞的详细信…

Hadoop的安装和配置可以参考我之前的文章:在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境. 本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境. 1. 软件准备 scala-2.11.7.tgz spark-1.4.0-bin-hadoop2.6.tgz 都可以从官网下载. 2. scala安装和配置 scala-2.11.7.tgz解压缩即可.我解压缩到目录/home/vm/tools/scala,之后配置~/.bash_profile环境变量. #sca…

Windows通过VNC远程桌面访问Ubuntu设备:一个WIN7的机器,一个系统为Ubuntu的机器 (二者可以均可为虚拟机或实体机) 目的:在Windows系统上通过VNC远程访问Ubuntu. 简介:. VNC(VIrtual network Cumputing)是Linux下远程接入的一种方式. 它包括两部分:VNCServer 和VNC Viewer. VNCServer安装在被控制机上,VNC Viewer安装在主控机.如,现在要通过windows远程访问Ubuntu,则window…

一.在Windows7中安装Ubuntu双系统 工具/原料   windows7 64位 ubuntu 16.04 32位 UltraISO最新版(用来将镜像文件烤到U盘中) 空U盘(若有文件,请先备份) 1.为安装ubuntu16.04分配一块磁盘空间(100G) Win7自带分配磁盘的工具([计算机]->[管理]->[磁盘管理]->选中压缩盘->[右键]->[压缩卷]),只需要压缩步骤即可,不需要继续分盘符格式化等操作. 2.将镜像文件iso写到U盘 下载并安装Ultra…

在前一篇文章中,我们已经搭建好了Hadoop的群集,接下来,我们就是需要基于这个Hadoop群集,搭建Spark的群集.由于前面已经做了大量的工作,所以接下来搭建Spark会简单很多. 首先打开三个虚拟机,现在我们需要安装Scala,因为Spark是基于Scala开发的,所以需要安装Scala.在Ubuntu下安装Scala很简单,我们只需要运行 sudo apt-get install scala 就可以安装Scala了. 安装完成后运行scala -version可以看到安装的Scala的版…

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"…

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet…

最近在做flash手机项目,用fb选择android设备调试,总会出现找不到设备的情况.看了很多帖子都解决不了问题,后来终于研究出来是adb无法找到设备的问题.最后通知这篇帖子终于解决了问题. 使用电脑连接android设置的时候,通常要做两步:1是安装USB驱动:2是启动adb工具. 第一步比较简单,只要修改android驱动的配置文件android_winusb.inf,把你设备的VendorID跟ProductID加进去就行了. 安装好驱动之后,启动adb devices的时候,很多的时候…

转载自:http://www.cnblogs.com/ericsun/archive/2013/06/10/3130679.html 具体步骤在上面的链接中 今天在ubuntu下安装了Virtualbox.但是每次设置的时候,提示 virtualbox当前不允许访问usb设备等等等.. 转载的仁兄的其中的一个步骤有点问题 将其改为:sudo usermod -a -G vboxusers sharl....…

按住ctrl+alt+t打开终端 输入 sudo gedit /etc/hostname 出现一个打开的文件,显示的就是你的设备名字,也就是终端@的那个名字.将其修改成你想显示的名字,保存重启系统就可以了. 比如我想修改成hacker,我就吧ubuntu换成hacker 保存一下重启,打开终端,@的对象就是hacker了 设备名称也变成了hacker…

不少人曾在Windows下及Ubuntu下都遇到过Android设备无法识别的情况,就是run as Android Application的时候,target显示"??????",使用adb devices 查看设备状况,显示 List of devices attached????????????    no permissions Windows下在cmd中输入adb kill-server和adb start-server一般即可解决问题. 对于Ubuntu,有人说是因为USB…

今天把android的开发环境从windows平台切换到了ubuntu上. java jdk android-adt android-ndk都下好,环境变量都配好之后, 在调试程序的时候,出现设备没有权限访问,在shell中输入adb devices 出现 ?????    no permittion 一看这个,就蒙了.在网上谷歌百度了半天, 出现的答案,感觉大家都是copy过来的,不了解如何真正的去解决这个 问题,也许这些解决方法在某些情况下,有效,而我拿过来,在我这里 完全没有用. 没办法了…

ubuntu 使用adb shell命令配置 在ubuntu下使用adb 命令识别Android设备需配置adb_usb.ini 文件 文件路径:  ~/.android/ ,若不存在创建该文件. adb_usb.ini 在文件里面输入插入设备id信息,如下面就是设备的id. 获取设备id方法:输入lsusb命令 root@android:~/.android$ lsusb Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hu…

ubuntu下可以快速加密U盘和其他移动存储设备.访问的时候会要你输入密码,这样就比较安全了. ubuntu的磁盘工具使用的是LUKS加密,虽然这个加密方法不跟其他系统兼容,但可以在其他试用GNOME桌面的系统上正常使用加密的移动存储设备. 开始 先要安装这个加密软件包 sudo apt-get install cryptsetup 加密前记得备份移动磁盘里的文件,加密操作会格式化数据 加密移动磁盘 如下图打开磁盘工具(Disk Utility),此工具系统自带,如果没有的话,安装 gnome-…