Cloudera Certified Associate Administrator案例之Configure篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载CDH集群中最新的配置文件 问题描述: 某个集群的使用者需要通过客户端登陆集群,请使用CM下载HDFS和YARN的配置文件,保存到客户端机器的"/home/yinzhengjie/hadoop/etc/hadoop"目录下,并保持文件名不变. 解决方案: 可以通过登陆CM WebUI界面下载,也可以直接…

1. 系统拓扑图 在日常业务分析中,R是非常常用的分析工具,而当数据量较大时,用R语言需要需用更多的时间来完成训练模型,spark作为大规模数据处理框架,采用内存计算,可以短时间内完成大量的数据的处理及计算模型,但缺点是不能图形展示,R语言的sparkly则提供了R语言和Spark的接口,实现了在数据量大的情况下,应用Spark的快速数据分析和处理能力结合R语言的图形化展示功能,方便业务分析,模型训练. 但是要想使多人同时共享R和Spark,还需要其他的相关组件,下图展示了所有相关的组件及应用:…

1,角色日志报错 Encountered exception loading fsimage java.io.FileNotFoundException: No valid image files found at org.apache.hadoop.hdfs.server.namenode.FSImageTransactionalStorageInspector.getLatestImages(FSImageTransactionalStorageInspector.java:165)   配…

即将上线的Spark服务器面临的一系列填坑笔记 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 把kafka和flume倒腾玩了,以为可以轻松一段时间了,没想到使用CDH部署的spark也出现一些列的问题,真让人脑仁疼啊,硬着头皮一个一个的去填坑.......... 一.因配置文件不同,导致无权限访问hdfs目录. 报错信息如下: 18/10/19 00:36:23 ERROR spark.SparkContext: Error initializing SparkContex…

原 Impala SQL 语言元素(翻译) 本文来源于http://my.oschina.net/weiqingbin/blog/189413#OSC_h2_2 摘要 http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_langref_sql.html 目录[-] Impala SQL 语言元素(Elements) ALTER T…

摘要: http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_langref_sql.html Impala SQL 语言元素(Elements) Impala SQL 方言支持一组标准元素(a range of standard elements),加上许多大数据方面的扩展,用于数据加载和数据仓库方面.   注意: 在之前的 Im…

报错背景: CDH断电重启后,cloudera-scm-server启动报错, cloudera-scm-server 已死,但 pid 文件仍存 由于没有成熟的解决方案,于是我就重新安装了MySQL数据库, 并且重新赋予了各种权限. 这个时候cloudera-scm-server可以启动成功,cloudera-scm-agent也可以启动成功. 报错现象: 此时cloudera-scm-server和cloudera-scm-agent都能启动成功, 但是jps一下,没有服务 明明启动了age…

master  192.168.1.30 saver1  192.168.1.40 saver2  192.168.1.50 首先,时间同步 然后,ssh互通 接下来开始: 1.安装MySQL5.6.44 tar -xvf MySQL-5.6.44-1.el6.x86_64.rpm-bundle.tar rpm -ivh MySQL-server-5.6.44-1.el6.x86_64.rpm rpm -ivh MySQL-devel-5.6.44-1.el6.x86_64.rpm 启动MySQ…

使用Cloudera Manager搭建HDFS完全分布式集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 关于Cloudera Manager的搭建我这里就不再赘述了,可以参考我之前的笔记:离线方式部署Cloudera Manager5.15.1. 一.基于CM界面搭建HDFS完全分布式集群 1>.CM的webUI界面默认的用户名/密码都是小写的admin,我们输入用户名和密码进行登录.操作如下: 2>.同意CM的协议,点击继续 3>.选择CM的免费版本 4>…

[toc] 1. Problem We wrote a shell script to uninstall Cloudera Manager(CM) that run in a cluster with 3 linux server. After run the script, we reinstalled the CM normally. But when we established Hdfs encountered a problem: failed to format NameNode.…