最近学习Spark,看了一个视频,里面有提到启动spark后,一般都会启动Spark History Server。视频里把 spark.history.fs.logDirectory 设置成了Hadoop上一个目录。配置的是hdfs://ubuntu1:9000/spark 啥的。我原来搭建的Hadoop是HA的,肯定不能这么写。我心血来潮,把hadoop HA改回了集群模式。这下可好,恶梦开始。启动Spark History Server,报连不上hadoop,但是我在浏览器中是能打开的。开始怀疑是Spark哪里配置错了,搞了半天,还是连接hadoop时报connection refuse。刚开始学Spark,对它也不熟,所以索性就从简单点的开始。从最简单local模式开始。这种模式下,程序运行完,就什么都看不到了,需要启动Spark History Server,这样就能查看运行完的程序的信息了。只是Spark History Server还是一直连不上hadoop。郁闷至极,后来才发现我也HA Hadoop改成集群时,在core-site.xml 中配置如下,NNDX,没有加9000端口号!!!

<property>
                <name>fs.defaultFS</name>
                <value>hdfs://ubuntu1</value>
        </property>

加上端口号后,发现Spark History Server能连上Hadoop了,真TMD高兴。可是跑完一个程序后,在Spark History Server的UI界面上还是没有信息。搞了半天,才发现datanode没有启动起来。清了一遍namenode和datanode的目录,又格式化了一下namenode。Hadoop终于是正确地跑起来了。

崩溃了,Spark History Server的UI界面上,还是啥都没有。又是半天,才发现是 spark.history.fs.logDirectory 配置错了,应该和 spark.eventLog.dir 配置成同一个目录的, 我当时犯贱了一下,没有配成同一个目录。改成同一个目录后,终于把问题解决了。

虽然走了不少弯路,但是在解决问题的过程中,学到了蛮多东西的。

Spark history server 遇到的一些问题的更多相关文章

  1. Spark History Server配置使用

    Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEB ...

  2. Spark学习笔记-使用Spark History Server

    在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是 说,Spark应用程序运行完后,将无法查看应用程序的历史记 ...

  3. Spark History Server产生背景

    以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEBUI随着Application的完成(成功/失败) ...

  4. Spark集群之Spark history server额外配置

     Note: driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录,如果不使用stop()方法,即使在指定目录中产生该应用程序的目录,history server ...

  5. Spark history Server配置实用

    Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEB ...

  6. spark history server

    参考:http://blog.csdn.net/lsshlsw/article/details/44786575 为什么需要historyServer? 在运行Spark Application的时候 ...

  7. 【转】Spark History Server 架构原理介绍

    [From]https://blog.csdn.net/u013332124/article/details/88350345 Spark History Server 是spark内置的一个http ...

  8. Spark 学习笔记之 Spark history Server 搭建

    在hdfs上建立文件夹/directory hadoop fs -mkdir /directory 进入conf目录  spark-env.sh 增加以下配置 export SPARK_HISTORY ...

  9. 一次解决spark history server日志不见

    通过cloudera的旧版VM(centos6版本)跑spark,之后,想看一下日志研究一下job,stage以及task,压力很大的发现完全没有日志,180088页面打开后: Event log d ...

随机推荐

  1. FI 常用表

    FI 常用表 GL部分:FAGLFLEXT(FMGLFLEXT)   总账汇总表 GLT0        旧总帐汇总表           SKA1        总账科目主记录 (科目表)      ...

  2. Mac平台下的抓包神器 —— Charles

    在开发界,“抓包”这个词想必大家耳熟能详.通过抓包工具,能够获取设备在网络通讯过程中的交换数据包.在 Windows 平台上,笔者使用较多的是 Fiddler 工具,但是由于 Fiddle 使用 C# ...

  3. HTTP的referer机制

    Quesion: 在项目中遇到了访问某些网络上的图片但是打开是forbidden的情况,原来这是一些网站为了避免图片被盗取所以采取的保护机制,如果不是从原网站上访问的图片,就禁止访问.那么这种情况应该 ...

  4. SpringBoot2.0之整合ActiveMQ(点对点模式)

    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20 ...

  5. python的easygui

    1.利用msgbox(单词messagebox的缩写)给出一个提示信息: import easygui as g reply=g.msgbox('This is a basic message box ...

  6. tkinter之button

    Button按钮,直接上代码: from tkinter import * def gs(): global read s=Label(read,text='昨夜西风凋敝树,堵上高楼,望尽天涯路!', ...

  7. 分享知识-快乐自己:Spring中的(三种)异常处理机制

    案例目录结构: Web.xml 配置: <!DOCTYPE web-app PUBLIC "-//Sun Microsystems, Inc.//DTD Web Application ...

  8. 2015推荐的Android框架

    一.Guava Google的基于java1.6的类库集合的扩展项目,包括collections, caching, primitives support, concurrency libraries ...

  9. BZOJ-1568: Blue Mary开公司 (李超线段树)

    Description Input 第一行 :一个整数N ,表示方案和询问的总数. 接下来N行,每行开头一个单词“Query”或“Project”. 若单词为Query,则后接一个整数T,表示Blue ...

  10. 【LeetCode】031. Next Permutation

    题目: Implement next permutation, which rearranges numbers into the lexicographically next greater per ...