近段时间发现公司的HDP大数据平台的tez-ui页面不能用了，页面显示为空，导致通过hive提交的sql不能方便地查找到Yarn上对应的applicationId，只能通过beeline的屏幕输出信息、hiveserver2的日志、yarn的日志等一步步去查找，非常麻烦（查找方法见上一篇博客“如何找到Hive提交的SQL相对应的Yarn程序的applicationId”）。因此下决心解决这个问题。

于是找时间去了解了一下tez-ui的原理，它其实是Tez项目下的一个子项目（web项目），可以单独部署在诸如tomcat之类的应用服务器下。tez-ui上显示的tez程序信息实际是来自yarn的timeline service服务，前者通过后者提供的REST接口获取程序的metrics信息。Yarn Timeline Service的架构如下图所示：

我们的集群tez-ui和timeline service是在不同的机器上面，比如tez-ui部署在A机器，timeline service部署在B机器。

首先检查了A、B机器，发现它们的时间不一致，其实是timeline service所在的B机器的时间不正确。进一步检查发现B机器的NTP服务关闭了，因此开启B机器的NTP服务，自动同步时间。

其次，修改tez所在机器的tez-site.xml配置文件，修改下列配置项为对应的值。这一步可以解决"All DAGs”页面不显示信息的问题。

tez.am.tez-ui.history-url.template __HISTORY_URL_BASE__?viewPath=/#/tez-app/__APPLICATION_ID__
tez.history.logging.service.class org.apache.tez.dag.history.logging.ats.ATSV15HistoryLoggingService

再次，修改hiveserver2服务所在机器的hive-site.xml配置文件，修改下列配置项为对应的值，然后逐个重启hiveserver2服务。这一步可以解决“Hive Queries”页面不显示信息的问题。

hive.exec.failure.hooks: org.apache.hadoop.hive.ql.hooks.ATSHook
hive.exec.post.hooks: org.apache.hadoop.hive.ql.hooks.ATSHook
hive.exec.pre.hooks: org.apache.hadoop.hive.ql.hooks.ATSHook

最后，重启A机器上的tez-ui程序和B机器上的timeline server服务。前者部署在tomcat下，只需要重启下tomcat即可。后者通过如下命令重启。

./yarn-daemon.sh stop timelineserver
./yarn-daemon.sh start timelineserver

最终，我们打开tez-ui页面，地址是http://A:18088/tez-ui，可以看到现在页面可以正确展示"All DAGs"和"Hive Queries"信息了。

"All DAGs"页面：

"Hive Queries"页面：

关于tez-ui的"All DAGs"和"Hive Queries"页面信息为空的问题解决过程的更多相关文章

  1. Optimizing Hive queries for ORC formatted tables

    Short Description: Hive configuration settings to optimize your HiveQL when querying ORC formatted t ...

  2. 5 Ways to Make Your Hive Queries Run Faster

    5 Ways to Make Your Hive Queries Run Faster Technique #1: Use Tez  Hive can use the Apache Tez execu ...

  3. Hive 元数据库表信息

    Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理. 1. 版本表 i) VERSION   -- 查询版本信息 2. 数据库.文件存储相关 i) DBS -- 存储 ...

  4. HIVE配置错误信息

    原因:版本问题 解决方法:cp /root/hive/lib/当前的jlinexx.jar /root/hadoop/share/hadoop/yarn/lib

  5. hive中创建子表并插入数据过程初始化MR报错解决方法

    本文继成上一篇通过hive分析nginx日志文章,详情参考下面链接: http://www.cnblogs.com/wcwen1990/p/7066230.html 接着来: 创建业务子表: drop ...

  6. vue + element ui 阻止表单输入框回车刷新页面

    问题 在 vue+element ui 中只有一个输入框(el-input)的情况下,回车会提交表单. 解决方案 在 el-form 上加上 @submit.native.prevent 这个则会阻止 ...

  7. Hive语句执行优化－简化UDF执行过程

      Hive会将执行的SQL语句翻译成对应MapReduce任务,当SQL语句比较简单时,性能还是可能处于可接受的范围.但是如果涉及到非常复杂的业务逻辑,特别是通过程序的方式(一些模版语言生成)生成大 ...

  8. python UI自动化实战记录五：测试页面2 pageobject

    该部分记录测试页面2-StrategyPage,所有页面2上的元素定位.操作.获取属性等方法都写在该类中. 1 页面2继承自BasePage: 2 页面2第一部分写的是所有的定位器 3 页面2第二部分 ...

  9. 查看hive的配置信息

    在启动hive时设置配置属性信息 $ bin/hive --hiveconf <property=value> 查看当前所有的配置信息 hive > set ; hive (db_h ...

随机推荐

  1. 小白初学Java的一点点收获

    作为刚刚学习Java没有几天的小白,我想把我在学习过程中,所学习到的知识和注意事项和大家一起分享分享.在这个过程中,希望大家可以有所收获,有什么不对的地方,希望大家指出并且私信我. 首先说说第一次记事 ...

  2. 干货！Python中字符串、列表、元祖、字典，集合之间的转换

    一.字符串的转化 1.字符串转换成列表 字符串转换成list 的时候,str可以作为迭代对象,直接放入:也可以使用split对字符串进行切割.然后返回list s = '1a1b1c' print(l ...

  3. Python爬虫入门（基础实战）—— 模拟登录知乎

    模拟登录知乎 这几天在研究模拟登录, 以知乎 - 与世界分享你的知识.经验和见解为例.实现过程遇到不少疑问,借鉴了知乎xchaoinfo的代码,万分感激! 知乎登录分为邮箱登录和手机登录两种方式,通过 ...

  4. php---算法和数据结构

    <?php header("content-type:text/html;charset=utf-8"); $arr = array(3,5,8,4,9,6,1,7,2); ...

  5. 2019-2020-1 20199329《Linux内核原理与分析》第四周作业

    <Linux内核原理与分析>第四周作业 一.上周问题总结: 虚拟机环境缺少部分库文件 书本知识使用不够熟练 二.本周学习内容: 1.实验楼环境使用gdb跟踪调试内核 1.1 在该环境下输入 ...

  6. 吞吐量（TPS）、QPS、并发数、响应时间（RT）

    1. 响应时间(RT)  响应时间是指系统对请求作出响应的时间.直观上看,这个指标与人对软件性能的主观感受是非常一致的,因为它完整地记录了整个计算机系统处理请求的时间.由于一个系统通常会提供许多功能, ...

  7. Notations

    下面四种记号是为了建立函数间的相对级别. CLRS上的一张图很直观: 大O记号 定义:如果存在正常数\(c\)和\(n_0\),使得当\(N\ge n_o\)时\(T(N)\le cf(N)\),记\ ...

  8. Python编程求解第1天1分钱之后每天两倍持续一个月的等比数列问题

    一.问题 问题1 场景:如果你未来的丈母娘要求你,第1天给她1分钱,第2天给2分钱,第3天给4分钱,以此类推,每天给前一天的2倍,给1个月(按30天)算就行.问:第30天给多少钱,总共给多少钱? 问题 ...

  9. 【Java8新特性】Lambda表达式基础语法，都在这儿了！！

    写在前面 前面积极响应读者的需求,写了两篇Java新特性的文章.有小伙伴留言说:感觉Lambda表达式很强大啊!一行代码就能够搞定那么多功能!我想学习下Lambda表达式的语法,可以吗?我的回答是:没 ...

  10. golang教程汇总

    A Tour of Go Go编程基础 Go 语言圣经 中文版