前段时间,我公司发现大部分hadoop服务器有重传数据包和error包现象,且重传率经常超过1%.zabbix告警hadoop主机有error包出现.收到大量类似如下告警信息: Trigger: eth1 incoming error packets increase Trigger status: PROBLEM Trigger severity: Warning Trigger URL: Event ID: 61317015 Item values: Incoming errors on e…

When running the command: + mvn site site:stage -DskipTests -DskipTest -DskipITs   you get an error:    [ERROR] Failed to execute goal org.apache.maven.plugins:maven-site-plugin:3.0:site (default-site) on project hadoop-main: Execution default-site o…

http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html 1.safemode bin/hadoop fs -put ./input inputput: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode. 解决方法: NameNo…

错误1: ssh连接云主机: ssh root@39.106.xx.xx 报错:THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED 解决办法: ssh -o StrictHostKeyChecking=no root@39.106.xx.xx 输入密码,链接成功 与ssh中Host key verification failed问题一样. 网上很多的解决方案是:vi ~/.ssh/known_hosts 删除与想要连接的主机相关的行:或者直接删除kn…

新建的一个虚拟机,发现make menuconfig 后会出错,查了一下是缺少一些库. 这个错误已经错了两次了,我不希望第三次出现了还想不起来,所以特此记录. # 错误信息: make[2]: *** [/home/chen_7109/am335x/buildroot-2016.08/output/build/buildroot-config/dochecklxdialog] Error 1 make[1]: *** [/home/chen_7109/am335x/buildroot-2016.…

转 http://blog.csdn.net/u012303571/article/details/46913471   查看 nodemanager 日志发下 如下信息   2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/beh/data/yarn/nmlocal error, used space above threshold…

在运行mapreduce的时候,出现Error: GC overhead limit exceeded,查看log日志,发现异常信息为 2015-12-11 11:48:44,716 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded at java.io.DataInputStream.readU…

下雪了,在家闲着,不如写一个npm 包发布.简单的 npm 包的发布网上有很多教程,我就不记录了.这里记录下,一个复杂的 npm 包发布,复杂指的构建环境复杂. 整个工程使用 rollup 来构建,其中会引进 babel 来转译 ES6,利用 Eslint 来规范代码的书写风格,最后代码的发布会经过 uglify 压缩.同时发布 umd.es 格式的版本以供外部调用. 完整目录结构如下: 下面是整个过程的记录 一.初始化工程 yarn init -y 初始化后,修改 package.json 内…

在执行Reduce Shuffle的过程中,偶尔会遇到Shuffle Error,但是重启任务之后,Shuffle Error会消失,当然这只是在某些特定情况下才会报出来的错误.虽然在每次执行很短的时间报出这个错误,但是如果单个Reducer的错误数量超出maxAttempt,就会导致整个任务失败. Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#50…

错误如下 Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:) at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperC…

安装rabbitmq的文章和帖子多如牛毛,不管是官网还是各个博客,这里附个Rabbitmq官网安装Rpm包的链接, http://www.rabbitmq.com/install-rpm.html 不多说,直接上步骤. 首先下载rpm包,  $ wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.1/rabbitmq-server-3.5.1-1.noarch.rpm 安装RabbitMQ rpm -ivh rabbitmq-se…

编译:   javac  -classpath     hadoop的路径下面/hadoop-0.20.0-core.jar       -d     .class文件存放的路径     XXXX.java 打成jar包:   jar  -cvf   要生成的Jar包的名字.jar    *.*       (这个命令是把当前文件下所有的class文件都打如jar包里面去) 运行jar包:      hadoop   jar       xxxx.jar        jar包的入口类名   …

版权说明: 本文章版权归本人及博客园共同所有,转载请标明原文出处( https://www.cnblogs.com/mikevictor07/p/12047502.html ),以下内容为个人理解,仅供参考. 文本参考书籍<Hadoop2.x HDFS源码剖析>编写. 一.HDFS体系结构 1.数据块Block 最小存储单元,默认128MB,适合大文件存储,减少寻址和内存开销. 2.Namenode 文件系统命名空间,含目录.文件的数据块索引,索引存储在内存中,文件越多占用内存越大. 同时存储…

错误信息: java.lang.Exception: java.lang.ArrayIndexOutOfBoundsException: 1    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492)    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:552)Caused by: java.l…

1.列出所有正在执行的任务 hadoop job -list 2.kill任务 hadoop job -kill 任务名…

-添加sudoer su - vi /etc/sudoers 在root ALL=(ALL) ALL 下添加: pete ALL=(ALL) ALL -安装拼音: sudo yum install "@Chinese Support" 设置输入法:System - preferences - input method,注销. -安装chromium cd /etc/yum.repos.d sudo wget http://people.centos.org/hughesjr/chrom…

内容属原创,转载请注明出处 题外 由于项目的需求—不管是怎么产生的这个需求—总之,需要支持把一个web应用打成jar包供其他应用使用,这就有了下面的过程. 这个过程里用到了Spring和SpringMVC(用到的版本是3.1.4,后面略过此描述)的若干东东,如果不用这玩意的,请飘过. 要做些什么? 需要打包的这个Web应用包含下面这些内容: 静态资源,含 js.css.image 页面文件:jsp Jsp标签,含 tld文件和若干java代码 基于SpringMVC的其他若干Control和Se…

Fiddler不但能截获各种浏览器发出的HTTP请求, 也可以截获各种智能手机发出的HTTP/HTTPS请求.Fiddler能捕获IOS设备发出的请求,比如IPhone, IPad, MacBook. 等等苹果的设备.  同理,也可以截获Andriod,Windows Phone的等设备发出的HTTP/HTTPS. 最关键的是,对IOS应用抓包时直接在Windows PC上进行,不需要非得在MAC上.下面介绍使用步骤 一.PC上安装Fiddler 步骤略. 二.Fiddler配置 (配置完后记得…

We've seen the internals of MapReduce in the last post. Now we can make a little change to the WordCount and create a JAR for being executed by Hadoop. If we look at the result of the WordCount we ran before, the lines of the file are only split by s…

在hadoop-env.sh中修改参数添加 export HADOOP_HEAPSIZE="4096" 设置分配的最大jvm内存为4096,一般用于jar包里面除了执行map和reduce之外还要执行其他的后续代码,且后续代码所需要的内存占用大于1g. 当出现map或者reduce过程提示内存不足的时候可以修改etc/下面的mapred-site.xml文件中的参数:mapreduce.map.memory.mb数值到合适的参数即可.…

2019/03/09 21:46 准备4台服务器或者虚拟机[centos7],分别设置好静态ip[之所以设置静态ip主要就是为了省心!!!][ centos7下面配置静态IP  参考地址: https://www.linuxidc.com/Linux/2017-10/147449.htm cd /etc/sysconfig/network-scripts ls 这里说一下需要修改的位置: #修改 BOOTPROTO=static #这里讲dhcp换成ststic ONBOOT=yes #将no换…

1.允许远程连接 2.忽略https证书错误 3.设置代理 4.重启fiddle 5.PC客户端抓包分工具FIddler+Proxifer https://blog.csdn.net/sunbo_csdn/article/details/82292379…

Java语言把异常当做对象来处理,并定义了一个基类(java.util.Throwable)作为所有异常的父类.异常分为Error和Exception两大类. Error 不可恢复的异常. 程序中不推荐去捕获Error类型的异常,主要原因是:运行时异常多是由于逻辑错误导致的,属于应该解决的错误.也就是说,一个正确的程序中是不应该存在Error的.当这些异常发生时,JVM一般会选择将线程终止. Exception 可恢复的异常. (1) 检查异常 所有继承Exception并且不是运行时异常的异常…

在启动公司内嵌的tomcat容器时出现报错, 如下: # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (malloc) failed to allocate 160088 bytes for AllocateHeap # An error report file with more information is saved as: # /…

目的 走一遍R包开发过程,并发布到Github上使用. 步骤 1. 创建R包框架 Rsutdio --> File--> New Project--> New Directory --> R Package 创建完成后,在R包文件夹下有如下文件(夹): man: 存放*.Rd文件 R: 存放R脚本 DESCRIPTION: R包描述信息 NAMESPACE: 命令空间 rmytools.Rproj: R工程文件 2. 自定义R包 上面是Rstudio为开发者创建的一个框架,接下来是…

执行命令:[root@hadoop102 mapreduce]# hadoop jar mapreduce2_maven.jar Filter 错误信息:Exception in thread "main" java.lang.ClassNotFoundException: Filter    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)    at java.lang.ClassLoader.loadCla…

抓手机的接口地址,好用的工具很多,想 windows下的 Fiddler 和mac下的Charles 1. fiddler的设置教程是 http://jingyan.baidu.com/article/03b2f78c7b6bb05ea237aed2.html 2. charles 在mac 和windows下都能用,只是 收费的 常见问题: 1. 代理默认都是 8888的端口,有时候使用代理,链接不了上网,可能就是自己的端口被占用了. 使用以下的命令查看端口是否被占用(参考链接) netsta…

Requests beautifulsoup lxml logging gevent django Bottle numpy pandas sklearn pyopencv opencv_python‑3.1.0‑cp35‑cp35m‑win_amd64.whl (http://www.lfd.uci.edu/~gohlke/pythonlibs/#opencv)…

不知道怎么回事,今天在启动集群时通过jps查看进程时始终有一个standby namenode进程无法启动.查看日志时报的是不能加载fsimage文件.日志截图如下: 日志报的很明显了是不能加载元数据信息,解决方案: 解决办法: 1.手动copy namenode(active)所在的那台服务器上XXX/dfs/name/current/下的所有文件到namenode(standby) 所在的那台服务器的对应文件夹下. 2. 重新格式化namenode(active),然后再把格式化后的元数据复…

<?xml version="1.0" encoding="utf-8" ?> <request> <functionID>subPackageInfo</functionID> <time>2014-02-10 15:10:50</time> <packageList> <packageInfo> <orderId>22088315090</order…