spark安装与调试
I----
1---jdk and scala install
****zyp@ubuntu:~/Desktop/software$ tar xvf jdk-7u67-linux-i586.tar.gz
****vim ~/.bashrc (vim /etc/profile false)
# # JAVA_HOME 2015.12.18 binary x64 or i386(uname -a)
112 export JAVA_HOME=/usr/lib/jvm/jdk1.7_586
113 export JRE_HOME=$JAVA_HOME/jre
114 export PATH=$JAVA_HOME/bin:$PATH
115 #export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
116
117 # SCALA_HOME 2015.12.18
118 export SCALA_HOME=/usr/lib/jvm/scala-2.10.4
119 export PATH=$PATH:$SCALA_HOME/bin
****source /etc/profile
****java -version
****scals -version
--tar tgz http://www.scala-lang.org/files/archive/ or http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
2---spark install
using spark-1.1.0-bin-hadoop1.tgz
https://spark.apache.org/downloads.html
https://spark.apache.org/examples.html
****/usr/lib/jvm/spark-1.1.0-bin-hadoop1$ ./bin/spark-shell --start the spark and http://localhost:4040
****Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.1.0
/_/
16/01/07 01:20:08 INFO Utils: Successfully started service 'HTTP file server' on port 38690.
16/01/07 01:20:14 INFO Utils: Successfully started service 'SparkUI' on port 4040.
16/01/07 01:20:14 INFO SparkUI: Started SparkUI at http://ubuntu.local:4040 or http://192.168.174.129:4040/stages/
16/01/07 01:20:14 INFO Executor: Using REPL class URI: http://192.168.174.129:43766
16/01/07 01:20:14 INFO AkkaUtils: Connecting to HeartbeatReceiver: akka.tcp://sparkDriver@ubuntu.local:59425/user/HeartbeatReceiver
16/01/07 01:20:14 INFO SparkILoop: Created spark context..
Spark context available as sc
****scala> sc
res0: org.apache.spark.SparkContext = org.apache.spark.SparkContext@118c6de
****scala> val inFile = sc.textFile("README.md")
16/01/07 01:42:25 WARN SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yes
16/01/07 01:42:25 INFO MemoryStore: ensureFreeSpace(31447) called with curMem=0, maxMem=280248975
16/01/07 01:42:25 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 30.7 KB, free 267.2 MB)
inFile: org.apache.spark.rdd.RDD[String] = README.md MappedRDD[1] at textFile at <console>:12
****scala> val sparks = inFile.filter(line=>line.contains("Spark"))
sparks: org.apache.spark.rdd.RDD[String] = FilteredRDD[2] at filter at <console>:14
****scala> sparks.count
****scala> exit(1)
end
****awk '{if(match($0,"SPARK"))} {print}' README.md | wc -l
****cat README.md | grep -rn "spark"
3---- run error*** zyp@ubuntu:/usr/lib/jvm/scala-2.10.4/bin$ scalac
/usr/lib/jvm/scala-2.10.4/bin/scalac: line 23: java: command not found
---HelloWorld for scala
****$ scalac Demo.scala
zyp@ubuntu:/usr/lib/jvm/code/demo_scala$ scalac -encoding gbk Demo.scala
****$ scalac SampleDemo.scala
zyp@ubuntu:/usr/lib/jvm/code/demo_scala$ scalac -encoding gbk SampleDemo.scala
****$ scala SampleDemo
zyp@ubuntu:/usr/lib/jvm/code/demo_scala$ scala SampleDemo
4---demo_ssc
import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._
// //这里指在本地执行。2个线程。一个监听,一个处理数据
val conf = new SparkConf().setAppName("NetworkWordCount").setMaster("local[2]")
//// Create the context
val ssc = new StreamingContext(conf, Seconds(20))
val lines = ssc.textFileStream("README.md")
val words = lines.flatMap(_.split(" "))
val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
wordCounts.print()
wordCounts.saveAsTextFile("zyp.txt")
words.count
println("****Hello Scala! Welcome to my Zoon")
ssc.start()
ssc.awaitTermination()
II---- linux 下更改文件胡权限肯用户以及用户组
使用chown命令能够改动文件或文件夹所属的用户:
命令:chown 用户 文件夹或文件名称
比如:chown qq /home/qq (把home文件夹下的qq文件夹的拥有者改为qq用户)
使用chgrp命令能够改动文件或文件夹所属的组:
命令:chgrp 组 文件夹或文件名称
比如:chgrp qq /home/qq (把home文件夹下的qq文件夹的所属组改为qq组)
III---- python 读取zip压缩文件
#!/usr/bin/python
#coding=utf-8
import zipfile
z = zipfile.ZipFile("test.zip", "r") ##tarfile.TarFile()
#打印zip文件里的文件列表
for filename in z.namelist():
print 'File:', filename
#读取zip文件里的第一个文件
first_file_name = z.namelist()[1]
content = z.read(first_file_name)
print first_file_name
print content
IV 相关链接
1-- https://spark.apache.org/examples.html
2-- http://spark.apache.org/docs/latest/ --- Spark API ****http://spark.apache.org/docs/latest/streaming-programming-guide.html#initializing-streamingcontext
3-- http://www.scala-lang.org/ ---- Scala API ***
4-- SparkStream 使用
5-- http://www.sxt.cn/info-2730-u-756.html
6-- Spark 执行与配置
7-- Spark RDD API具体解释(一)
Map和Reduce ****
8-- Spark入门实战系列--7.Spark
Streaming(下)--实时流计算Spark Streaming实战 **
Getting Started Guide
spark安装与调试的更多相关文章
- 01、Spark安装与配置
01.Spark安装与配置 1.hadoop回顾 Hadoop是分布式计算引擎,含有四大模块,common.hdfs.mapreduce和yarn. 2.并发和并行 并发通常指针对单个节点的应对多个请 ...
- Spark应用远程调试
本来想用Eclipse的.然而在网上找了一圈,发现大家都在说IntelliJ怎样怎样好.我也受到了鼓励,遂决定在这台破机器上鼓捣一次IntelliJ吧. Spark程序远程调试,就是将本地IDE连接到 ...
- Spark 安装部署与快速上手
Spark 介绍 核心概念 Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架,类似于 Hadoop,但有很多的区别. 最大的优化是让计算任务的中间结果可以存储在内存中, ...
- Hive on Spark安装配置详解(都是坑啊)
个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Sp ...
- Spark学习(一) -- Spark安装及简介
标签(空格分隔): Spark 学习中的知识点:函数式编程.泛型编程.面向对象.并行编程. 任何工具的产生都会涉及这几个问题: 现实问题是什么? 理论模型的提出. 工程实现. 思考: 数据规模达到一台 ...
- Windows Service 开发,安装与调试
Visual Studio.net 2010 Windows Service 开发,安装与调试 本示例完成一个每隔一分钟向C:\log.txt文件写入一条记录为例,讲述一个Windows Servic ...
- ubuntu14.04下nodejs + npm + bower的安装、调试和部署
1. 简介 本文介绍ubuntu14.04下nodejs+npm+bower的安装.调试和部署 参考文档 https://docs.npmjs.com/getting-started https: ...
- Windows环境中Openfire与Spark安装与配置指南
安装软件: openfire3.9.3 spark2.6.3 安装环境: WindowsXP JDK1.6.0_21 Oracle 一.openfire安装 1.安装openfire3.9.3,下载地 ...
- postgresql编译安装与调试(二)
接前文postgresql编译安装与调试(一),继续说说postgresql的编译安装与调试. 上一篇已经详细说明了如何在Linux系统上编译安装postgresql,这次我们在此基础上简单讲讲如何在 ...
随机推荐
- 关于css的入门知识
css:叠层样式表,给html添加样式的 接下来说一说,在网页中如何嵌套style样式 1.行间样式:把style(*权重1000)作为属性卸载标签里 eg:<p style="col ...
- Python 3 下载安装和环境搭建
Python3 下载 由于博主使用的平台是Windows10,以下方法仅限win10系统 Python 官网:https://www.python.org/ 找到跟系统相应的版本瞎子: Python ...
- 【Hello 2018 B】Christmas Spruce
[链接] 我是链接,点我呀:) [题意] 在这里输入题意 [题解] 写个dfs看看是不是每个节点都有3个叶子节点就可以了. [代码] #include <bits/stdc++.h> us ...
- HDU 2102 A计划 (三维的迷宫BFS)
题目链接:pid=2102">传送门 题意: 三维的一个迷宫,起点在第一层的S(0,0,0)处,问是否能在规定的时间内走到第二层的P 处.'*'代表不能走,'.'代表能够走,'#'代表 ...
- 从“窃听门”事件解读手机Rootkit攻击
从"窃听门"事件解读手机Rootkit攻击 在今年五月讲述了手机流氓软件危害与防治(http://chenguang.blog.51cto.com/350944/557191)文章 ...
- HDU 1142 A Walk Through the Forest(最短路+dfs搜索)
A Walk Through the Forest Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Jav ...
- CTF加密题型解析:RSA算法的CTF解法之一
RSA介绍 根据加密原理,可以将大部分的加密算法分为两大类:对称加密算法和非对称加密算法.对称加密算法的加密和解密采用的是同一套算法规则.而非对称加密算法加密时用的是公钥(公开给所有人),解密时用的是 ...
- ontouch-控件添加ontouch监听事件
1,代码public class CalculatorViewPager extends ViewPager {}中 package com.android.calculator2; import a ...
- 数值溢出(arithmetic overflow)问题与解决方案
0. 典型场景 两数相加(乘法).两数相减.一个数的阶乘,一个数的幂,这些统统可能造成数值的溢出: 避免数值溢出的方法: 当把一个计算出的很大的数赋值给一个 int(2^31-1)类型变量存储时,一般 ...
- 117.C语言实现桌面输出图片,桌面输出文字,桌面画线
通过获取窗口句柄,然后获取窗口DC,然后画图 #include <Windows.h> #include <stdio.h> //桌面画线 void drawLine() { ...