1.spark应用打包,我喜欢打带依赖的,这样省事. 2.使用spark-submit.bat 提交应用,代码如下: for /f "tokens=1,2 delims==" %%i in (config) do (set %%i=%%j) %sparkHome%/bin/spark-submit ^ --class streaming.SocketStream ^ --master spark://%masterIP%:7077 ^ --executor-memory 4G ^ --

Ruby入门--Linux/Windows下的安装.代码开发及Rails实战 http://www.linuxidc.com/Linux/2014-04/100242.htm Ubuntu 13.04下Ruby的安装 http://www.linuxidc.com/Linux/2013-06/85734.htm 公司有项目组进行系统重构,采用了Ruby On Rails框架,我也抽出时间学习了一下,并对几个原来用Java开发的定时任务.消息监听进行了ruby改造,学习过程中主要参考两本书:<Pr

http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. windows下spark开发环境配置 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件,前提是你已经安装了eclipse.maven.jdk等软件 spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8 我

1.写在前面     之前一致用putty,ssh,修改代码,或者本地修改,上传到服务器,各种不爽,现在改用xshell,但是有时候还是不方便感觉,于是自己配置了远程连接pycharm,这样不用总是到代码里修改,直接在windows下pycharm里修改再保存就可以实现同步更新到服务器里的代码里了. 2.content     打开pycham,windows下连接服务器端如图所示: 配置连接服务器,name随便写,connection下,协议sftp,服务器主机IP,用户名,密码,apply

一.Git是什么?     Git --- The stupid content tracker, 傻瓜内容跟踪器.Git是目前世界上最先进的分布式版本控制系统. 二.SVN与Git的最主要的区别?      SVN是集中式版本控制系统,版本库是集中放在中央服务器的,而干活的时候,用的都是自己的电脑,所以首先要从中央服务器哪里得到最新的版本,然后干活,干完后,需要把自己做完的活推送到中央服务器.集中式版本控制系统是必须联网才能工作,如果在局域网还可以,带宽够大,速度够快,如果在互联网下,如果网速

一.准备工作 当然是准备在windows 下使用需要的环境,和工具. msysgit  下载地址:http://msysgit.github.io/ TortoiseGit 下载地址:https://code.google.com/p/tortoisegit/wiki/Download  有语言包可下载 我下载完成后就是这个样子的(包含语言包) 二.安装 首先安装: 开始安装: 直接下一步(Next) 直接下一步(Next) 修改安装路径,然后下一步 直接下一步(Next) 直接下一步(Next

0x01 环境说明 本地 OS: windows 10 jdk: jdk1.8.0_121 scala: scala-2.11.11 IDE: IntelliJ IDEA ULTIMATE 2017.2.1 服务器 OS: CentOS_6.5_x64 jdk: jdk1.8.111 hadoop: hadoop-2.6.5 spark: spark-1.6.3-bin-hadoop2.6 scala: scala-2.11.11 0x02 windows端配置 安装jdk 配置环境变量 JAV

1. 环境配置 a)  java环境配置: JDK版本为1.7,64位: 环境变量配置如下: JAVA_HOME为JDK安装路径,例如D:\software\workSoftware\JAVA 在path中添加“%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;” 在CLASSPATH中添加“.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;” b)  scala环境配置 scala版本为2.10,因为Spark 1.6.

和朋友共同开发一个小项目,所以就涉及到了代码管理这块,刚开始想到的是使用svn,但是外网访问svn的时候需要使用花生壳来弄一个动态的域名,中间出了很多错误,感觉有点麻烦,所以就想到看看还有别的管理代码的工具没有,于是开始百度,后来朋友说起了git,这个好像以前也看到过,但是没有注意,于是决定试试git.网上搜到的了一篇这样的文章http://www.cnblogs.com/sorex/archive/2011/08/10/2132359.html,全部安装该博文的步骤弄的, 在这步时就出现了错误

1.在github上搜索下载winutils.exe相关的一套文件,下载对应hadoop的版本. 2.将所有文件复制到hadoop的bin目录下 3.将hadoop.dll复制到windows\system32目录下 4.添加环境变量HADOOP_HOME指向hadoop目录 5.将%HADOOP_HOME%\bin加入到path里面 完成上述步骤后,可以在windows环境调试hadoop,也可以本地调试远程节点,可以把本地文件上传到远程hadoop节点上.

1.编写代码 2.编写Makefile,如果要调试, 2.1.需要在编译的时候加上/Zi ( Generates complete debugging information),编译由cl.exe来完成 2.2.需要在链接选项中指定/DEBUG,(The /DEBUG option creates debugging information for the .exe file or DLL. The linker puts the debugging information into a pro

编译的Audacity版本为2.1.2,由于实在windows下编译,其源代码可以从Github上取得 git clone https://github.com/audacity/audacity. 1. 编译WxWidgets Audacity使用wxWidgets作为GUI的框架,Audacity2.1.2需要wxWidgets 3.0.2,所以在编译Audacity之前需要编译wxWidgets.wxWidgets的下载地址为http://www.wxwidgets.org/downloa

本文转自:https://www.iflym.com/index.php/computer-use/201205020001.html 在32位的windows下,包括windows7,windows xp以及windows 2003,都可以使用instsrv.exe和srvany.exe来创建自定义的windows服务.比如,我们有一个bat文件,用于将指定的程序作为服务进行启动,使用一般的工具都不可以进行此类工作,而使用由windows 2003的资源工具包windows toolkit中所

在64位windows下使用instsrv.exe和srvany.exe创建windows服务   在32位的windows下,包括windows7,windows xp以及windows 2003,都可以使用instsrv.exe和srvany.exe来创建自定义的windows服务.比如,我们有一个bat文件,用于将指定的程序作为服务进行启动,使用一般的工具都不可以进行此类工作,而使用由windows 2003的资源工具包windows toolkit中所带的instsrv就可以. 详细的用

Windows下的Memcache安装 1.下载memcache for windows. 下载地址:http://splinedancer.com/memcached-win32/,推荐下载binaries版本, 解压(本例中解压到e:memcached-1.2.4). 2.安装memcache, 在命令行状态下输入: e:/memcached-1.2.4/memcached.exe -d install .至此memcached已经安装成windows服务 3.启动memcache, 在命令

本文转自:https://www.iflym.com/index.php/computer-use/201205020001.html 在32位的windows下,包括windows7,windows xp以及windows 2003,都可以使用instsrv.exe和srvany.exe来创建自定义的windows服务.比如,我们有一个bat文件,用于将指定的程序作为服务进行启动,使用一般的工具都不可以进行此类工作,而使用由windows 2003的资源工具包windows toolkit中所

http://www.crifan.com/how_to_do_python_development_under_windows_environment/ 本文目的 希望对于,如何在Windows下,写Python代码,进行Python开发,运行Python脚本的人,看了此文后,懂得了: 什么是cmd下面去运行Python脚本: 什么是Python的交互式的shell: 什么是Python的IDE. 前提知识 看此文之前,需要知道: Python语言的基本知识 包括知道其代码就是普通文本等基础知

dll的优点 简单的说,dll有以下几个优点: 1) 节省内存.同一个软件模块,若是以源代码的形式重用,则会被编译到不同的可执行程序中,同时运行这些exe时这些模块的二进制码会被重复加载到内存中.如果使用dll,则只在内存中加载一次,所有使用该dll的进程会共享此块内存(当然,像dll中的全局变量这种东西是会被每个进程复制一份的). 2) 不需编译的软件系统升级,若一个软件系统使用了dll,则该dll被改变(函数名不变)时,系统升级只需要更换此dll即可,不需要重新编译整个系统.事实上,很多软件

为了方便使用windows下的编辑器写代码并使用make命令,所以在windows上也安装make,教程如下 windows下使用gcc和g++需要安装MinGW32,如果已经安装过了,参考这里,然后改一下名字为make.exe 否则需要先安装MinGW32,参考这里 MinGW32只能编译32位程序,要想编译64位,需要安装MinGW-w64,参考 MinGW-w64离线安装,在线安装可能无法访问, 从 以下链接下载make.exe放到MinGW64/bin目录下一样可以使用 https://

  Windows下最简的开发环境搭建这里的spark开发环境, 不是为apache spark开源项目贡献代码, 而是指基于spark的大数据项目开发. Spark提供了2个交互式shell, 一个是pyspark(基于python), 一个是spark_shell(基于scala). 这两个环境其实是并列的, 并没有相互依赖关系, 所以如果仅仅是使用pyspark交互环境, 而不使用spark-shell的话, 甚至连scala都不需要安装. ====================pysp

###windows下链接hadoop集群 1.假如在linux机器上已经搭建好hadoop集群 2.在windows上把hadoop的压缩包解压到一个没有空格的目录下,比如是D盘根目录 3.配置环境变量HADOOP_HOME=D:\hadoop-2.7.7Path下添加 %HADOOP_HOME%\bin 4.下载相似版本的文件hadoop.dll #存放在C:\Windows\System32 目录下winutils.exe #存放在%HADOOP_HOME%\bin 目录下 #下载地址:h