一 部署本地spark环境 1.1  安装好JDK       下载并安装好jdk1.7,配置完环境变量.   1.2 Spark环境变量配置       去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6 解压下载的文件,假设解压 目录为:D:\Spark-1.6.0-bin-hadoop2.6.将D:\sp…

做Web开发少不了要在本地搭建好开发环境,虽然说目前各种脚本都有对应的Windows版,甚至是一键安装包,但很多时候和Windows环境的相性并不是那么好,各麻烦的问题是实际部署的环境通常是Linux,常常还要面临着开发和部署环境不一致,上线前还要大量的调试.更要命的是,如果有很多机器需要装的话,那就真是一个灾难了. Windows下玩Linux少不了虚拟机,但装系统依旧是相当费事.在现在什么都在自动化的今天,Vagrant就是这么一个神器,基于Ruby开发,使用开源 VirtualBox 作为…

根据博客总结 https://blog.csdn.net/nxw_tsp/article/details/78281533 需要的安装软件可以在网盘下载: 链接:https://pan.baidu.com/s/1BgtNERopcxUf7DwiultMnw 提取码:nvnv 一.安装Scala 下载地址:http://www.scala-lang.org/download/all.html 进入页面后选择一个Scala版本进行下载,我选择的是Scala2.12.0版本.特别注意的是看帖子又的说S…

准备工作: 第一步:安装python.打开网址https://www.python.org/downloads/windows/     现在最新版本3.7,本人使用的是3.6. 第二步:安装pycharm.打开网址:https://www.jetbrains.com/pycharm/download/#section=windows   有开源版和试用版,开源即免费,试用版试用期过后要$$. 安装试用版过程中它会弹出个注册界面,关于破解自行搜索.开源版则没有. 剩下的步骤,祝你好运. 第三步:…

一.安装软件 1.安装 Python 2.7.PyCharm.pip(Python包管理工具).Django ( pip install Django) 二.部署 1.PyCharm 新建Django工程     完成后,其目录如下:     子目录MyDjangoProject下表示工程的全局配置,分别为setttings.py.urls.py和wsgi.py,其中setttings.py包括了系统的数据库配置.应用配置和其他配置,urls.py则 表示web工程Url映射的配置. 子目录st…

安装步骤基本参考 Spark在Windows下的环境搭建.不过在安装新版本 spark2.2.1(基于 hadoop2.7)的配置时,略略有一些不同. 1. sqlContext => spark.sqlContext 在启动日志中未出现,SQL context available as sqlContext.也不足为奇,因为在新版本的 spark 中 sqlContext 对象已封装进 Spark session,也即 spark-shell 中的 spark 下. 2. winutils.e…

由于Django自带轻量级的server,因此在前篇博文中,默认使用该server,但实际生产中是不允许这么干的,生产环境中通常使用Apache Httpd Server结合mod_wsgi.so来做后端服务器.   以下部署环境为:Python2.7.6 1.安装httpd-2.2.25-win32-x86-no_ssl.msi 2.将下载好的mod_wsgi.so 放在 D:\Program Files\Apache Software Foundation\Apache2.2\modules…

首先,我先定义一个文件,hello.txt,里面的内容如下: hello sparkhello hadoophello flinkhello storm Scala方式 scala版本是2.11.8. 配置maven文件,三个依赖: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.…

有时候我们会在windows 下开发spark程序,测试程序运行情况,再部署到真实服务器中运行. 那么本文介绍如何在windows 环境中搭建简单的基于hadoop 的spark 环境. 我的windows环境为 Win7 64位 第一步,安装Python环境 这里不多讲,我的环境为python 3.6 第二步,安装Java 环境 我的环境为 C:\Users\Boss>java -versionjava version "1.8.0_91"Java(TM) SE Runtime…

windows环境下使用virtualenv对python进行多版本隔离 最近在用python做一个文本的情感分析的项目,用到tensorflow,需要用python3的版本,之前因为<机器学习实战>那本书的缘故,用的是python2.7.所以目前的情况是要两个版本共存,之前看到身边有人为了解决这个问题,居然装了两款软件,pycharm用来做python2.7的开发,另一款用来做python3.6的开发,估计一定是不知道python的虚拟环境工具virtualenv.本文就来讲述一下这个工具是…