SparkSession spark = SparkSession .builder() .master("local[*]") .enableHiveSupport() .config("spark.sql.warehouse.dir", "file:///E:/git/bigdata_sparkIDE/spark-ide/workspace/functionModule/spark-warehouse") .getOrCreate(); 在使…

原文 WIN8 .WIN7 下IIS7.5.IIS8 的rewrite 伪静态功能设置方法 win7和win8系统都自带有iis的功能.关于IIS的安装,上一篇已经讲述,这里就不重复了. 下面说下在win7和win8系统下的IIS7.5,IIS8如何做网站的rewrite伪静态. 伪静态以discuz x3.0为例: 首先要下载rewrite 的64位的组件 rewrite_x64_zh-CN.msi.官方的下地址是:http://www.microsoft.com/zh-cn/download…

开始的时候,我只安装了python3.5,安装不了scrapy库,网上搜了一下说是scrapy不支持python3.x 然后,我就又安装了python2.7 为了,默认使用2.7,我在环境变量path中添加下面2项: D:\Program Files\Python27;D:\Program Files\Python27\Scripts; 接着,我在E:\PycharmProjects目录下按住Shift键右击,选择“在此处打开命令窗口”,输入以下命令: scrapy startproject t…

1).下载MongoDB http://downloads.mongodb.org/win32/mongodb-win32-i386-2.4.5.zip 下载Windows 32-bit版本并解压缩,程序文件都在bin目录中,其它两个目录分别是C++调用是的头文件和库文件.bin目录中包含如下几个程序: 1. mongo.exe,命令行客户端工具. 2. mongod.exe,数据库服务程序. 3. mongodump.exe,数据库备份程序. 4. mongoexport.exe,数据导出工具…

1).下载MongoDB http://downloads.mongodb.org/win32/mongodb-win32-i386-2.4.5.zip 下载Windows 32-bit版本并解压缩,程序文件都在bin目录中,其它两个目录分别是C++调用是的头文件和库文件.bin目录中包含如下几个程序: 1. mongo.exe,命令行客户端工具. 2. mongod.exe,数据库服务程序. 3. mongodump.exe,数据库备份程序. 4. mongoexport.exe,数据导出工具…

本文转自:http://www.cnblogs.com/snake-hand/p/3172376.html 1).下载MongoDB http://downloads.mongodb.org/win32/mongodb-win32-i386-2.4.5.zip 下载Windows 32-bit版本并解压缩,程序文件都在bin目录中,其它两个目录分别是C++调用是的头文件和库文件.bin目录中包含如下几个程序:1. mongo.exe,命令行客户端工具.2. mongod.exe,数据库服务程序.…

第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD.DataFrame 与 DataSet0.3.2 DataSet 与 RDD 互操作0.3.3 RDD.DataFrame 与 DataSet 之间的转换0.3.4 用户自定义聚合函数(UDAF)0.3.5 开窗函数0.4 Spark Streaming0.4.1 Dst…

一:简介 最近学习hadoop本地运行模式,在运行期间遇到一些问题,记录下来备用:以运行hadoop下wordcount为例子. hadoop程序是在集群运行还是在本地运行取决于下面两个参数的设置,第一个参数用来设置mr程序要在yarn集群中执行,第二个参数设置yarn集群的主节点地址. hadoop默认情况下是在window本地运行.  conf.set("mapreduce.framework.name","yarn");   conf.set("ya…

1.建立spakTesk项目,建立scala对象Test 2.Tesk对象的代码如下 package sparkTest /** * Created by jiahong on 15-8-2. */ import org.apache.spark.{SparkConf,SparkContext} object Test { def main(args: Array[String]) { ) { System.err.println("Usage: <file>") Syst…

准备工作: 将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G,因为需要在该节点上跑本地(local)Spark程序,本地Spark程序会启动Worker进程耗用大量内存资源 本地运行模式(主要用于调试) 1.首先将Spark的所有jar包拷贝到hadoop用户家目录下 [hadoop@CloudDeskTop spark-2.1.1]$ pwd /software/spark-2.1.1 [hadoop@CloudDeskTop spark-2.1.1]$ c…