1:遇到这个问题是在启动bin/spark-shell以后,然后呢,执行spark实现wordcount的例子的时候出现错误了,如: scala> sc.textFile()).reduceByKey(_ + _).collect 执行上面操作之前我是这样启动我的spark-shell的,如下所示: [root@slaver1 spark--bin-hadoop2.]# bin/spark-shell 问题就出现在这里,首先你要知道自己笔记本的内存大小,如果你租的服务器内存应该可以满足你的需求,…

搭建Spark环境后,调测Spark样例时,出现下面的错误:WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources [hadoop@gpmaster bin]$ ./run-example org.apache.spar…

首先访问https://download.docker.com/linux/centos/7/x86_64/stable/Packages/获取对应版本的rpm包docker包docker-ce-18.03.1.ce-1.el7.centos.x86_64.rpm依赖包rpm -ivh container-selinux-2.99-1.el7_6.noarch.rpmrpm -ivh pigz-2.3.3-1.el7.centos.x86_64.rpm挂载光盘镜像安装依赖包yum install…

weekend01.02.03.04.05.06.07的分布式集群的HA测试 1)  weekend01.02的hdfs的HA测试 2)  weekend03.04的yarn的HA测试 1)  weekend01.02的hdfs的HA测试 首先,分布式集群都是正常的,且工作的 然后呢, 以上是,weekend01(active).weekend02(standby) 当weekend01给kill, 变成weekend01(standby).weekend02(active) 模拟weekend…

MongoDB Version: 2.4.7 Mongodump: $ bin/mongodump -u admin -p admin -d test -o ./tmp/ connected to: 127.0.0.1:29017 assertion: 18 { code: 18, ok: 0.0, errmsg: "auth fails" } 解决方法: 这个是2.2.2版本以后出现的,参考:https://jira.mongodb.org/browse/SERVER-9991 $…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: 关于kubespray Kubespray是开源的kubernetes部署工具,整合了ansible,可以方便的部署高可用集群环境,官网地址:https://github.com/kubernetes-sigs/kubespray,本文是用kubespray-2.14.2版本部署kuberne…

1. Install junit a)      Download “junit.jar” b)      In eclipse, Windows->Preferences->Java->Build Path->Classpath variables->New, add  "junit.jar" file. 2. Install hamcrest a)      Download “hamcrest.jar” b)      In eclipse, Win…

LCOW containers can now be run next to Windows containers.Use '--platform=linux' in Windows container mode to run Linux images.This is an experimental feature; If you want to disable Daemon 'experimental' option and had pull lcow images, you must res…

11.登陆功能(链接MySQL) python manage.py starapp movie 新建一个应用模块之后要记得到setting添加这个应用模块 在python2中你还有去导入一个MySQL_pathon 的第三包 第一步修改settings.py的文件 在文件上边会有一个链接会介绍,如何去链接数据库 端口,用户名,密码,名称,主机地址,链接器 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql',#数据库连接器…

在平常的工作中,判断一个值是否为空的情况时,会直接使用 if ($var) 这种形式,有时也会使用这三个函数进行比较,但是当时也没有很深入的学习. -- 还是通过实例来判断这几个的用法和场景 首先定义出可能为空的所有情况 <?php $a; $b = false; $c = ''; $d = 0; $e = null; $f = array(); ?> empty() 首先是empty的var_dump输出: <?php var_dump(empty($a)); var_dump(emp…

spilt 命令用于将一个文件分割成数个 默认情况下 按照每1000 切割成一个小文件 split [-参数] [要切割的文件] [输出文件名] 参数 -[行数] 指定每多少行切成一个小文件 -b 字节 指定每多少字节切成一个小文件 -C 与参数"-b"相似,但是在切 割时将尽量维持每行的完整性  [输出文件名]:设置切割后文件的前置文件名, split会自动在前置文件名后再加上编号 -- 作用用于大文件的切割.切割后的小文件可以使用cat命令进行合并. -- 例如: 我这里有个5.3…

…

At first, I'd like to say thank you to MIT open courses which give me the privilege to enjoy the most outstanding education resources. Okay, come to the point. When I was learning the second-order homogeneous differential equation, the professor quot…

Well, to begin with, I'd like to say thank you to MIT open courses twice. It's their generosity that gives me the priviledge to enjoy the most outstanding education resources. Okay, come to the point -- The Frequency in Oscillation System. In general…

docker中分容器和镜像,简单可以理解为容器是运行中的实例,镜像是运行实例所需的静态文件. 导入导出既可以对容器做操作,也可以对镜像做操作.区别在于镜像可以随时导出,容器必须要停止之后才可以导出,否则导出的文件再导入时运行不起来,容器导入之后是镜像无法直接运行.需要run之后才可以运行. 容器的导入导出 首先查看与运行中的容器 docker ps -a 加了-a参数代表查看所有容器,不加-a参数代表仅查看运行中的容器 STATUS列中有UP字样的代表正在运行中的容器 停止容器 docker s…

2010年01月01日 到 2018年12月05日 之间,滚动市盈率历史新低排名. 上市三年以上的公司,2018年12月05日市盈率在300以下的公司. 1 - 青松股份(SZ300132) - 历史新低 - 滚动市盈率PE:13.45 - 滚动市净率PB:4.85 - 滚动年化股息收益率:0.36% - 青松股份(SZ300132)的历史市盈率走势图 2 - 方大集团(SZ000055) - 比以往 99.67% 的日期都低 - 滚动市盈率PE:3.19 - 滚动市净率PB:1.38 - 滚动…

日期:2018.10.18 星期四 博客期:020 小试验任务: 我就发一下代码好了!!! package test1; import java.util.Scanner; public class Aobj { public static int num = 0; public static void setOff(){ System.out.println(num); } public void Run(){ } //构造方法 public Aobj(){ num++; } //主方法 pu…

2017-11-24 21:20:25 1:什么叫失望,什么叫绝望.总之是一脸懵逼的继续...... 之前部署的hadoop都是hadoop-2.4.1.tar.gz,这几天换成了hadoop-2.6.4.tar.gz,部署老生常谈,启动就不一样了,本来吧,也就是warn,不是error,启动hdfs和yarn,节点都可以正常启动,但是对于我这种强迫症,能容忍下面这一大推错误吗?当你看到这篇的时候,显然是不能,虽然网上已经有很多了,但是貌似好多还是不好使.我呢,也算脑补.记录一下. [root@…

一.不同类型之间的数据可以互相转换,但是要满足一定的规则 二.数据类型转换规则 转换规则如图所示  精度高的数据类型就像容量大的杯子,可以放更大的数据 精度低的数据类型就像容量小的杯子,只能放更小的数据 小杯子往大杯子里倒东西,大杯子怎么都放得下 大杯子往小杯子里倒东西,有的时候放的下,有的时候就会有溢出 需要注意的一点是:  虽然short和char都是16位的,长度是一样的 .但是彼此之间,依然需要进行强制转换. public class HelloWorld { public static…

现在,我们来验证分析下,zookeeper集群的可靠性 现在有weekend05.06.07 将其一个关掉, 分析,这3个zookeeper集群里,杀死了weekend06,还存活weekend05.07. 可见,还能正常工作. 分析,这3个zookeeper集群里,杀死了weekend06.07,只存活weekend05. 可见,不能正常工作了. 以上是weekend05.06.07的可靠性. 下面,是HA 一个NN + 一个SN,是非NA 非HA,可靠性是可以保证,但可用性不高. 我的重点不…

一.equals方法定义 public boolean equals(Object obj)方法 //提供对象是否“相等”的逻辑 二.”equals“和“==”的区别 1.“==”比较的是两个变量本身的值,即两个对象在内存中的首地址,当然,既然是两个对象,name首地址就不一样,所以若是s1=s2这样的,那就是false错的. 2.“equals()”比较字符串中所包含的内容是否相同 例如: String s1,s2="abc"; s1=new String("abc&quo…

Golang How To Install Go and Set Up a Local Programming Environment on macOS Build A Go API 40+ practical string tips [cheat sheet] Using Go Modules Practical Go: Real world advice for writing maintainable Go programs Why are my Go executable files s…

Python中有个logging模块可以完成相关信息的记录,在debug时用它往往事半功倍 1. 日志级别 日志一共分成5个等级,从低到高分别是: DEBUG INFO WARNING ERROR CRITICAL 说明: DEBUG:详细的信息,通常只出现在诊断问题上 INFO:确认一切按预期运行 WARNING:一个迹象表明,一些意想不到的事情发生了,或表明一些问题在不久的将来(例如.磁盘空间低”).这个软件还能按预期工作. ERROR:更严重的问题,软件没能执行一些功能 CRITICAL:…

一.源码分析 ###入口 ###org.apache.spark.scheduler/DAGScheduler.scala // 最后,针对stage的task,创建TaskSet对象,调用taskScheduler的submitTasks()方法,提交taskSet // 默认情况下,我们的standalone模式,是使用的TaskSchedulerImpl,TaskScheduler只是一个trait taskScheduler.submitTasks( new TaskSet(tasks.…

TaskSchedulerImpl 上一篇讲到DAGScheduler根据shuffle依赖对作业的整个计算链划分成多个stage之后,就开始提交最后一个ResultStage,而由于stage之间的依赖关系,实际上最终是循着计算链从上到下依次提交stage的.每提交一个stage,就会将这个stage分成多个Task,并且会计算每个Task的偏向位置,将RDD和ShuffleDependency,TaskMetrics等对象序列化用于远程传输,最后把一个stage的所有Task包装成一个任务集…

1.在spark SQL的一个test中 无论是registerAsTable还是registerTempTable 都会有问题,经过查找各种资料,采用如下的方式: val sqlCon=new org.apache.spark.sql.SQLContext(sc) import sqlContext. val data=sc.textFile("hdfs://spark-master.dragon.org:8020/user/a.csv") case class Person(cna…

写此篇文章之前,已经搭建好spark集群并测试成功: spark集群搭建文章链接:http://www.cnblogs.com/mmzs/p/8193707.html 一.启动环境 由于每次都要启动,比较麻烦,所以博主写了个简单的启动脚本:第一个在root用户下,第二个在hadoop用户下执行: #!/bin/sh #提示“请输入当前时间,格式为:2017-3-2”,把用户的输入保存入变量date中 read -t 30 -p "请输入正确时间: 格式为:'09:30:56': " n…

Spark Core面试篇01 随着Spark技术在企业中应用越来越广泛,Spark成为大数据开发必须掌握的技能.前期分享了很多关于Spark的学习视频和文章,为了进一步巩固和掌握Spark,在原有spark专刊基础上,新增<Spark面试2000题>专刊,题集包含基础概念.原理.编码开发.性能调优.运维.源代码以及Spark周边生态系统等.部分题集来源于互联网,由梅峰谷志愿者收集和整理,部分题集由梅峰谷志愿者结合生产实际碰到的问题设计出来,希望能给大家带来帮助. 一.简答题 1.Spark…

1:Spark的官方网址:http://spark.apache.org/ Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL.Spark Streaming.GraphX.MLlib等子项目,Spark是基于内存计算的大数据并行计算框架.Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群.2 Spark是MapReduce的替代方案,而且兼容HDFS.Hive,可融入H…

1.拷贝hive-site.xml到spark/conf下,拷贝mysql-connector-java-xxx-bin.jar到hive/lib下 2.开启hive元数据服务:hive  --service metastore 3.开启hadoop服务:sh  $HADOOP_HOME/sbin/start-all.sh 4.开启spark服务:sh $SPARK_HOME/sbin/start-all.sh 5.进入spark-shell:spark-shell 6.scala操作hive(…