1. 确保自己的电脑安装了JAVA Development Kit JDK, 用来编译Java应用, 如 Apache Ant, Apache Maven, Eclipse. 这里是我们安装Spark的支持环境. 查看自己是否安装了JDK: java -version 这里我已经安装了所以显示的是JDK的版本信息, 如果没有安装则显示"The program java can be found in the following packages" 2. 安装好Java环境之后可以在Sp

本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点 之后的操作如果是用普通用户操作的话也必

1.先看一下Linux环境下面请求的过程,(画的不是很好,简单的了解一下原理.) .NET跨平台其实需要这三个关键:编译器.CLR和基础类库.在.NET下我们编写一个最简单的"Hello World"都需要mscorlib.dll这个动态链接库,因为.NET框架已经为我们提供了这些,因为在我们的计算机上安装着.NET框架,这是我们编写的应用程序能够在Windows下运行的原因.再回头来看Mono,首先Mono和CLR一样,都是CLI这一标准的实现,所以我们可以理解为Mono实现了和微软

一.安装libgdiplus     前面我们已经安装了apr.apr_util.pcre和httpd apache .现在我们来安装libgdiplus Libgdiplus是一个Mono库,用于对非Windows操作系统提供GDI+兼容的API.libgdiplus是mono中的System.Drawing依赖的一个组件,用于显示web页面基本颜色等 Libgdiplus会依赖linux系统中一些必要的包,如果缺少包,我们可以在线安装这些包.输入以下命令就可以安装了. yum -y inst

Git是一款注重速度.数据完整性.分布式支持和非线性工作流的分布式版本控制工具.Git最初由Linus Torvalds在2005年为Linux内核开发而设计,如今已经成为被广泛接受的版本控制系统. 和其他大多数分布式版本控制系统比起来,不像大多数客户端-服务端的系统,每个Git工作目录是一个完整的仓库,带有完整的历史记录和完整的版本跟踪能力,不需要依赖网络或者中心服务器.像Linux内核一样,Git也是在GPLv2许可证下分发的自由软件. 本篇教程我会演示如何安装 gitlit 服务器.git

介绍安装的文档很多,可以参考这篇: http://www.mkyong.com/mongodb/how-to-install-mongodb-on-mac-os-x/ 安装完后你可能会碰到的2个问题. 1.让mongod在后台运行 启动mongo的命令mongod有一个参数--fork可以使mongo在后台运行,但同时必须设置--logpath参数指定启动日志文件的路径,因为此时日志无法写到控制台了.例子: mongod --fork --logpath /var/log/mongod.log

1. 下载go,解压 gz包 wget https://storage.googleapis.com/golang/go1.7.5.linux-amd64.tar.gz tar zxvf go1.7.5.linux-amd64.tar.gz mkdir gopath cd gopath 2. 配置环境变量 vi /etc/profile 最后添加 #根目录 export GOROOT=/usr/soft/go #bin目录 export GOBIN=$GOROOT/bin #工作目录 expor

在linux上安装spark ,前提要部署了hadoop,并且安装了scala. 提君博客原创 对应版本 >>提君博客原创  http://www.cnblogs.com/tijun/  << 名称 版本 JDK 1.8.0 hadoop 2.6.0 scala 2.11.0 spark 2.2.0 第一步,下载  https://spark.apache.org/downloads.html 第二步,解压 tar -zxvf spark--bin-hadoop2..tgz 第三步

linux安装nodejs运行vue程序 1.与node官网下载安装包 https://nodejs.org/zh-cn/download/ 6.上传到服务器,并解压 tar -xvf node-v10.15.3-linux-x64.tar.xz,将解压出来的文件夹改个名mv node-v10.15.3-linux-x64 nodejs 3.配置环境变量 ln -s nodejs位置/bin/npm /usr/local/bin/ ln -s nodejs位置/bin/node /usr/loc

selenium在linux上无界面运行,其实是非常简单的.具体的方法有使用HtmlUnitDriver或者PhantomJSDriver,有时间我会写写关于这两个东东的文章,其实基本和ChromeDriver 和FirefoxDriver是一样的.但是有些人或者会比较排斥他们说HtmlUnitDriver对JS支持不好,PhantomJSDriver估计也很少有人用,其实他是对Phantomjs的封装,对这些不做多过评论,我用下来感觉还好. 还有另一种方法,就是使用XVFB, 有人说XVFB是

原文:Linux安装.Net core 环境并运行项目 一 安装环境 1.  从微软官网下载 Linux版本的.NetCoreSdk 2.0 安装包 打开终端: 第一步: sudo yum install libunwind libicu(安装libicu依赖) 第二步: sudo mkdir -p /home/wenya/dotnet && sudo tar zxf /home/wenya/NetCoreSdk/dotnet.tar.gz -C /home/wenya/dotnet 第三

一.查询系统采用的python版本 $ python --version Python 3.7.3 系统采用的python版本为3.7.3 以下查询py3和py2的目录: $ which python3.7 /usr/bin/python3.7 $ which python2.7 /usr/bin/python2.7 二.安装python虚拟运行环境 pip安装 $ sudo pip install virtualenvwrapper 上述工具装好后,需要执行以下环境变量设置. 1.创建目录用来

参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进制安装包存在未知问题,如果直接下载spark二进制安装文件,配置完成后会发现启动spark及相关使用均会报错. 编译spark需要联网,spark使用scala语言编写,所以运行spark需要scala语言,上一步已经安装了scala,scala使用java编写,所以安装scala需要jdk支持,上

(安装spark集群的前提是服务器已经配置了jdk并且安装hadoop集群(主要是hdfs)并正常启动,hadoop集群安装可参考<hadoop集群搭建(hdfs)>) 1.配置scala环境 详细配置过程可参考<linux安装scala环境>,此处就不在详细描述 2.下载spark安装包 因为我之前安装的hadoop是3.0版本的,所以spark我使用的是spark-2.3.0版本 wget https://www.apache.org/dyn/closer.lua/spark/

以后开发都是要用linux,所以就安装了ubuntu,也是第一次用linux的系统.装的是win7+Ubuntu16.04的双系统. 安装过程如下:我用的是U盘安装,参看http://www.jianshu.com/p/2eebd6ad284d. 记得在提示重启的地方,拔掉U盘,也就是下面这个提示的时候: 拔掉U盘后,重启系统进入win系统,设置EasyBCD,参考:http://blog.csdn.net/coderjyf/article/details/51241919 安装好Ubuntu以

一.安装Spark <Spark2.4.0入门:Spark的安装和使用> 博客地址:http://dblab.xmu.edu.cn/blog/1307-2/ 1.1 基础环境 1.1.1 安装Spark之前需要安装: Linux系统 Java环境(Java8或JDK1.8以上版本) Hadoop环境 Hadoop安装教程地址:http://dblab.xmu.edu.cn/blog/install-hadoop/ 按照这个教程,就可以完成JDK和Hadoop这二者的安装 1.1.2 安装JDK

接上篇:linux安装apache 一.安装php 先安装libxml2库 [root@ctxsdhy package]# yum -y install libxml2-devel 最新地址在:http://php.net/downloads.php 可以手动下载,也可以用wget 执行: [root@ctxsdhy package]# wget http://cn2.php.net/distributions/php-7.0.13.tar.gz [root@ctxsdhy package]#

安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/profile #scala export SCALA_HOME=/opt/scala-2.11.7 #CLASSPATH export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib #PATH export PATH=$PATH:$SCALA_HOME/bin 保存退出

准备oracle安装文件 Oracle11gR2包含两个文件linux_11gR2_database_1of2.zip和linux_11gR2_database_2of2.zip,将这两个文件通过SSH上传到/usr /local/oracle中. 解压安装文件到当前目录 [root@localhost root]#cd /usr/local/oracle [root@localhost oracle]#unzip linux_11gR2_database_1of2.zip [root@loca

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet

Linux中shell脚本运行时经常需要进行交互,比如安装软件的过程中对license声明的确认,需要输入yes,回车之类的确认信息.这个在自动化安装的时候就会是个问题. 通常对于这个问题比较灵活的解决方法就是TCL的Expect.但Expect还需要另外安装,平台通用性不高,比较麻烦. 另外一些简单的方法倒也是有,不过可用性不高,特别是对要求多次交互就吃力了.但怎么说其还是能解决大多数的问题,因为复杂的情况还是比较少的.比 如要一个调用一个安装脚本 : installWAS.sh, 这个脚本要