1.集群启动的时候,从节点的datanode没有启动 问题原因:从节点的tmp/data下的配置文件中的clusterID与主节点的tmp/data下的配置文件中的clusterID不一致,导致集群启动时,hadoop会杀死从节点的datanode进程. 解决方案: a) 将集群关闭; b) 删除你在hadoop配置中设置的tmp下的data和name中的内容(每一个节点都要做这个操作) c) 重新格式化一次hdfs d) 重启集群,问题解决 2.集群启动时,jps显示所有的hadoop进程都已…

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题.一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突.解决方案就是删除我们自己向系统添加的jar包,重新配置.将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便,但是这不是一种好习惯,我们应该通过修改CLASSPATH的方式指定jar包路径. Cannot lock storage /tmp/hadoop-roo…

异常: 2014-02-24 12:15:48,507 WARN  [Thread-2] util.DynamicClassLoader (DynamicClassLoader.java:<init>(106)) - Failed to identify the fs of dir hdfs://fulonghadoop/hbase/lib, ignored java.io.IOException: No FileSystem for scheme: hdfs 解决: 在pom文件里增加: &…

前一段时间,终于抽出了点时间,在自己本地机器上尝试搭建完全分布式Hadoop集群环境,也是借助网络上虾皮的Hadoop开发指南系列书籍一步步搭建起来的,在这里仅代表hadoop初学者向虾皮表示衷心的感谢,他总结的系列文档确实帮我们扫除了很多hadoop环境搭建过程中的障碍. 自己不班门弄斧,就自己在搭建和调试过程中遇到的问题给出方案,希望以后的伙伴少走一点弯路,下面就搭建过程中遇到的几个问题给出总结:  说明:本次搭建hadoop集群环境时,本人使用的是hadoop-2.2.0版本,目前Apac…

前言:记录一些UITableView使用过程中可能遇到的问题 环境:Xcode9 解决UITableViewStyleGrouped类型的TableView的cell距离顶部有距离的问题: tableV.tableHeaderView = [[UIView alloc]initWithFrame:CGRectMake(, , , CGFLOAT_MIN)]; 解决分割线相关的问题 方法1:对UITableView下手:这种方法是一种官方挑明的处理方式 if ([_tableView respon…

在安装配置Hadoop集群的过程中遇到了很多问题,有些是配置导致的,有些是linux系统本身的问题造成的,现在总结如下. 1. hdfs namenode -format出现错误:hdfs namenode format cannot load main class 请检查环境变量HADOOP_HOME的设置是否正确,通常基于文件/etc/profile 2. sbin/start-dfs.sh 启动dfs过程中出现错误: call to localhost/127.0.0.1:9000 fai…

有朋友问到如何在一个Windows Installer安装包中获取安装包源路径,就是在安装包运行过程中动态获取*.msi所在完整路径. 这个问题分两类,如果我们的安装包只是一个*.msi安装文件,那么可以通过获取Property OriginalDatabase的值来得到(注意:OriginalDatabase值有效的前提是这是初次安装,不适用修复等模式). 第二种情况是我们将MSI包封装在一个*.exe中,则我们需要通过SETUPEXEDIR这个Property来获取.…

ionic 运行过程中动态切换API服务器地址 keywords: ionic,phonegap,cordova,网络制式,动态切换,变更,API,服务器地址,$resource,localstorage,url 场景.需求 场景 APP以项目的形式提供,一个客户需要部署一套服务器,一个APP,所以APP的后台服务器地址不能写死.而且要求如果有wifi且在内网,需要用内网服务器地址,如果用3G或者4G,则需切换为外网服务器地址 需求 APP第一次运行,如果没有设置过服务器地址,需要设置好后台服务…

转自:http://www.cnblogs.com/xiaoyao2011/archive/2011/09/09/2172427.html 在.NET程序运行过程中,什么是堆,什么是栈? 堆也就是托管堆(managed heap),进程初始化的时候,CLR要保留一块连续的地址空间,这个地址空间最初并没有对应的物理存储空间.这个地址空间就是托管堆. 栈是在程序运行过程中用于保存指令,值类型变量的内存区域(一个线程对应一个栈),栈的结构和数据结构中“栈”的结构是一样的,“先进后出”. 什么情况下会在…

在默认情况下,Jmeter运行过程中,Fiddler是抓不到对应的应答报文的. 但是,在某些时候,我们希望分析Jmeter执行失败的原因,想了解Jmeter获取到的应答报文是否有问题,就需要同服务器返回的应答报文进行对比. 这时,我们想在Jmeter运行过程中,同时用Fiddler抓获服务器的应答报文. 为此,需要给对应的HTTP Request设置Proxy Server…

0.踩坑背景 仍然是torch-rnn/LanguageModel.lua文件中的一些问题,仍然是这个狗血的LM:encode_string函数: function LM:encode_string(s) local encoded = torch.LongTensor(#s) , #s do local token = s:sub(i, i) local idx = self.token_to_idx[token] assert(idx ~= nil, 'Got invalid idx') e…

0.踩坑背景 执行Torch-RNN的时候,在LanguageModel.lua中的encode_string函数中,对start_text的各个character进行id映射编码,实现功能类似“北京天安门”-->“5 10 88 32 111”,方便后面的计算. 这个函数会利用一个全局的类似HashMap的table,hashmap中的key是character(char),value是id(int),涉及到一个从hashmap中按照key取值的操作,代码如下: local idx = sel…

0.Lua & LuaJIT简介 Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能. Lua 是巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个研究小组,由Roberto Ierusalimschy.Waldemar Celes 和 Luiz Henrique de Figueiredo所组成并于1993年开发,Lua在…

c#,winform程序,数据批量入oracle库时用到DataAdaper的.FillSchema函数,如:da.FillSchema(dt2, SchemaType.Mapped); 程序运行一段时间后在此出现中断,错误提示:ORA-03114: not connected to ORACLE. 经从网上查找相关解决方案,有说重启应用程序的:有说这是此函数本身的一个bug,需要添加什么微软官方所说的解决方案的. 经本人试验,重启应用程序是会变好.但是运行过程中还会难免出现上面的错误,这时候就…

WordCount.Scala代码如下: package com.husor.Spark /** * Created by huxiu on 2014/11/26. */ import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.SparkContext._ object SparkWordCount { def main(args: Array[String]) { println("Test is st…

一.JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分: # .bashrc # Source global definitions if [ -f /etc/bashrc ]; then . /etc/bashrc fi # User specific aliases and functions JAVA_HOME=/data01/java/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATHexport PATH JAVA_HOME 运行sour…

定义 log4j是Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控制台.文件.GUI组件,甚至是套接口服务器.NT的事件记录器.UNIX Syslog守护进程等:我们也可以控制每一条日志的输出格式:通过定义每一条日志信息的级别,我们能够更加细致地控制日志的生成过程.最令人感兴趣的就是,这些可以通过一个配置文件来灵活地进行配置,而不需要修改应用的代码. 一.log4j.properties 的使用详解 1.输出级别的种类 ERROR.WARN.INFO.D…

以下内容参考http://www.cnblogs.com/luogankun/p/3912956.html 一.集群启动过程--启动Master 二.集群启动过程--启动WorkerWorker运行时,需要注册到指定的master url Worker启动之后主要做了两件事情: 1)将自己注册到Master(RegisterWorker): 2)定期发送心跳信息给Master: Worker向Master发送注册信息: Master侧收到RegisterWorker通知: Worker在收到Ma…

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,…

基础的此处略去,nodejs和npm是前提. 1.官网介绍的是脚手架工具是antd-init,但是又建议真实项目中用dva-cli,所以博主就直接装的是dva-cli,这里主要是简单介绍下博主在Window7下安装dva-cli的过程中遇到的一些问题,希望能对各位同学有所帮助. 2.由于博主公司用的网络是代理服务器的网络,所以首先呢,先要为npm设置代理服务器 $ npm config set proxy http://server:port $ npm config set https-pro…

问题一:Loadrunner超时错误问题描述 Loadrunner超时错误:在录制Web协议脚本回放时超时情况经常出现,产生错误的原因也有很多,解决的方法也不同. 问题现象Error -27728: Step download timeout (120 seconds) has expired when downloading non-resource(s). 错误分析对于HTTP协议,默认的超时时间是120秒(可以在LoadRunner中修改),客户端发送一个请求到服务器端,如果超过120秒服…

1.出现以下错误: 没有添加环境变量: https://github.com/weiliu89/caffe/issues/4 可以看到当前PYTHONPATH不再ssd1里面,所以需要修改,修改之后就能正确运行 修改只在当前的终端起作用,修改的过程中,我在一个终端改,另一个终端跑,依旧是错的.因为那个终端的PYTHONPATH没有改. 2.Data layer prefetch queue empty 原因:CPU数据读入慢于GPU计算,导致GPU处于空闲,使得计算速度下降,迭代时间间隔扩大.n…

Solr下载地址:http://www.apache.org/dyn/closer.lua/lucene/solr/6.3.0 Solr搭建步骤转自:http://blog.csdn.net/wbcg111/article/details/52809337 1.准备工作 目前最新版本6.2.1,下载Solr6.2.1下载 Java JDK8 下载并安装jdk1.8(solr6.*是基于JDK1.8开发的) tomcat8.0 下载并解压tomcat8 2.在jetty服务器下运行 solr解压之…

在window上搭建kafka的源代码开发环境,主要参考如下的blog: http://www.bubuko.com/infodetail-695974.html    << Windows平台搭建Kafka源代码开发环境(Eclipse版本) >> http://stackoverflow.com/questions/25994163/could-not-resolve-all-dependencies-for-configuration-classpath 但是在国内的网络环境…

今天被朋友问及“Linux下可以替换运行中的程序么?”,以前依稀记得Linux下是可以的(而Windows就不让),于是随口答道“OK”.结果朋友发来一个执行结果:(test正在运行中)# cp test2 test cp: cannot create regular file `test': Text file busy 看起来是程序被占用,无法覆盖.于是自己又再做了几个实验: (1)先rm删除正在运行的test,然后cp test2 test就没有错误了.(2)先mv改名正在运行的test,…

1.Error: Java heap space 网上有很多说是java虚拟机内存不够的,我也试着修改内存大小,但是没起作用,后来发现是文件在传输过程中失真.文件在上传到HDFS后变成乱码,重新上传文件后解决.同样的问题有很多解法,主要还是要细心. 2.MapReduce的任务一直卡在running job Yarn-site.xml配置错误 3.搭建hive的过程中使用mysql作为元数据库,出现了这个问题,检查发现是配置文件写错了. 4.vmware安装无法打开内核设备 \\.\Global…

作为 java 程序员,都应该知道 Java 程序运行在 JVM(Java Virtual Machine,Java 虚拟机)上,可以把 JVM 理解成 Java 程序和操作系统之间的桥梁,JVM 实现了 Java 的平台无关性,由此可见 JVM 的重要性.所以在学习 Java 内存分配原理的时候一定要牢记这一切都是在 JVM 中进行的,JVM 是内存分配原理的基础与前提. Java 程序在运行的过程中涉及到以下内存区域: 栈 存放局部变量,可保存基本数据类型的值,还可以保存引用类型变量,即对象…

一.为什么设置ssh免密码登录 在集群中,Hadoop控制脚本依赖SSH来执行针对整个集群的操作.例如,某个脚本能够终止并重启集群中的所有守护进程.所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录. 二.环境 Hadoop集群,虚拟机中安装了4个节点,为centos操作系统 node-001 : 192.168.38.131 node-002 : 192.168.38.132 no…

写在前面 上篇文章也说明了,在安装sharepoint环境的时候,确实吃了不少苦头,这里纪录一下安装过程中遇到的几个问题. 安装环境 windows server 2012 r2 standard x64 sql server 2012 sp1 x64 sharepoint 2013 with sp1 安装步骤 安装步骤可参考 SharePoint 2013 安装图解 霖雨 1.安装数据库遇到的问题. 安装步骤按照上面的安装即可,但在安装数据库的时候,如果一直提示安装不成功,可参照下图,修改账户…

1,在配置package.json下载node依赖包时,执行$cnpm install过程中,这个过程是比较漫长的,尤其的这种core i5配置的电脑,简直有点卡的人怀疑人生,后来动了下有消息输出,我以为下载安装完毕了呢,然实际并木有,真正的安装结束是会有下一行的路径出现时,才算真正的安装结束,如果提前结束,安装依赖是不完全的,所以在,$cnpm run dev时候就会出错.出错不要紧,重要的是坚持去发现错误,改正错误,最后,我对待问题的态度还是不错的.仅此鼓励在前端道路上前进中的朋友们. 2,…