[root@nn01 bin]# ./hadoop namenode -format 12/05/21 06:13:51 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG:   host = nn01/127.0.0.1 STARTUP_MSG:   args =…
1.刚才未启动zookeeper集群的时候,直接启动kafka脚本程序,kafka报错了,但是进程号启动起来来,再次启动出现如下所示的问题,这里先将进程号杀死,再启动脚本程序. [hadoop@slaver1 script_hadoop]$ kafka-start.sh start kafkaServer... [-- ::,] INFO Verifying properties (kafka.utils.VerifiableProperties) [-- ::,] INFO Property…
python3.6hdfs的使用 https://blog.csdn.net/qq_29863961/article/details/80291654 https://pypi.org/  官网直接搜索hdfs就好  https://www.cnblogs.com/dachenzi/p/8676104.html   flume官网http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 最下方 一.Flume 简介1)…
1. 问题现象 启动 kafka 时报错:Failed to acquire lock on file .lock in /tmp/kafka-logs. A Kafka instance in another process or thread is using this directory. 2. 解决方案 2.1 方案一 删除 /tmp/kafka-logs 目录,然后重启 kafka: 2.2 方案二 修改配置的日志文件目录 在 config/server.properties 中修改…
Linux更改Apache网站目录出错:Document root must be a directory解决   修改   DocumentRoot     <Directory "C:/Apache/Apache2/htdocs" 重启apache 报错Document root must be a directory     然后 找原因  确实是加上的目录呢     原来 只需如此   询问大神的解释是     “这是系统开启了SELinux安全策略造成的.把目录或文件设…
这个问题困扰了我非常久非常久.使得我不得不花一点时间来说一下解决方法. 事情是这种:前两天兴高採烈的更新了一下宝贝mac到10.10. 一切看起来都那么美好,可是. .当我又一次安装magento的时候发现须要mcrypt!:之前有装过,可是更新了一下就没有了,好吧,重装!!可是这个时候发现.brew update不能用了!! 坑屌丝么!!so重装brew! ,好不easy装好了,brew install mcrypt的时候,遇到问题: Already downloaded: /Library/…
开始没搞定插件问题,就弄了个dsf操作类,后面搞定了插件问题,这玩意也就聊胜于无了,还是丢这里算了. 首先是一个配置,ztool.hadoop.properties hadoop.home.dir=G:/hadoop/hadoop-2.4.1 hadoop.user.name=hadoop hadoop.server.ip=192.168.117.128 hadoop.server.hdfs.port=9000 前面两个属性后面代码会有说明的. 属性文件的读取,方法多了,一般用commons-c…
首先我们先来了解一下Non DFS User是什么? Non DFS User的意思是:非hadoop文件系统所使用的空间,比如说本身的linux系统使用的,或者存放的其它文件   它的计算公式: non dfs used = configured capacity - remaining space - reserved space   如果给datanode配置了预留磁盘空间参数的话,可以用下面的公式计算 Non DFS used = ( Total Disk Space - Reserve…
第一次出现超时 ac不了的题 思路一:对于每个节点用一次dfs dfs中 记录到当前的最长路径,若大于最长,则清除set,并加入当前节点 思路二:先查找只有一个相邻节点的节点进行dfs,由于可能存在闭环,对为访问的节点dfs 思路三:(TQL),大神思路,先以1节点为根用一次dfs(1),求出以1为根的最深点集合,并且完成深度搜索一次,可以知道是否还有不可达点, 如果还有没访问,继续遍历,可以的到连通分量数. 如果大于1,直接打印错误信息 否则,对最深点集合的其中一个进行dfs 即为答案. //…
Hadoop学习总结之五:Hadoop的运行痕迹   Hadoop 学习总结之一:HDFS简介 Hadoop学习总结之二:HDFS读写过程解析 Hadoop学习总结之三:Map-Reduce入门 Hadoop学习总结之四:Map-Reduce的过程解析 在使用hadoop的时候,可能遇到各种各样的问题,然而由于hadoop的运行机制比较复杂,因而出现了问题的时候比较难于发现问题. 本文欲通过某种方式跟踪Hadoop的运行痕迹,方便出现问题的时候可以通过这些痕迹来解决问题. 一.环境的搭建 为了能…