紧接上一篇,继续安装hadoop相关环境 JDK安装:     1. 下载,下面这两个地址在网上找的,可以直接下载:         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.tar.gz         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.rpm     2. 安装,使用rz工具上传下载下来的jdk,解压至/usr/local…

最近一个搞NET开发的朋友离职了,想让我给他找点关于NET的相关面试题,准备抱一下佛脚,迎接新的挑战. 我赶紧找到以前检索的各种宝典,试题,今天梳理一下关于NET的基础知识点. 1.面向对象语言的三大特性:封装.继承.多态: 2.接口和类有什么异同: 不同点: ①接口不能直接实例化. ②接口只包含方法或属性的声明,不包含方法的实现. ③接口可以多继承,类只能单继承. ④表达的含义不同,接口主要定义一种规范,统一调用方法,也就是规范类,约束类,类是方法功能的实现和集合 相同点: ①接口.类和结构都…

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍. Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务.Pig可加载数据.表达转换数据以及存储最终结果.Pig内置的操作使得半结构化数据变得有意义(如日志文件).同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换. Hive Hive在Hadoop中扮演数据仓库的角色.Hiv阅读全文   hive的实现机制 摘要: hive利用hdf…

Linux相关面试题&答案 Linux面试题&答案 假设apache日志格式为:118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] "GET /Public/Css/index.css HTTP/1.1″ 304 – "http://www.a.cn/common/index.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.…

hadoop 相关介绍 hadoop的首页有下面这样一段介绍.对hadoop是什么这个问题,做了简要的回答. The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processi…

本自学笔记来自于Yutube上的视频Hadoop系列.网址: https://www.youtube.com/watch?v=-TaAVaAwZTs(当中一个) 以后不再赘述 自学笔记,难免有各类错误纰漏.请看者谨慎. Hadoop的使用还有大数据时代什么的就不说了.Hadoop不是一个单独的工具,而是一整个生态系统.包括一系列工具.所以首先要先介绍一下Hadoop相关的工具和各类概念,是以后经常会接触到的. 1. Hadoop Core a) HDFS  Hadoop分布式文件系统,Hadoo…

Hadoop相关问题解决 Hive 1.查询hivemeta信息,查到的numRows为-1 集群厂商 集群版本 是否高可用 是否开启认证 cdh 不限 不限 不限 在hivemeta库中可以通过以下sql查询表的元数据信息 SELECT * FROM TABLE_PARAMS WHERE tbl_id = 45857 其中numRows会被用来统计为表的行数,但是发现有些表查出来行数为-1 可能原因 对于一个新创建的表,默认情况下,如果通过INSERT OVERWRITE的方式插入数据,那么H…

一.哈希表 哈希表是一种可以快速定位得数据结构.哈希表可以做到平均查找.插入.删除时间是O(1),当然这是指不发生Hash碰撞得情况.而哈希表最大得缺陷就是哈希值得碰撞(collision). Hash碰撞:就是指hash桶有多个元素了.常见解决哈希碰撞得方法就是在hash桶后面加个链表 这里就引入第一个问题:为什么Map的底层设计要采用哈希表的这种数据结构? HashMap设计时,要求其key不能重复.所以每次往HashMap设置值时,需要对HashMap现在容器所有key进行筛选,以保证不会…

(相关面试题! 供参考!) 1.ORM框架有哪些? MyBatis:半自动化框架(不是纯ORM) 需要写动态SQL语句,实体类和SQL语句之间建立映射关系 Spring:轻量级框架, Java EE的春天,当前主流框架(低耦合 高内聚) 解释ORM : (Object Relational Mapping):表示对象 关系 映射: 编写程序的时候,以面向对象的方式处理数据 保存数据的时候,以关系型数据库的方式存储 2.  MyBatis和Spring的优点 分别是什么? MyBatis:SQL语…

Kafka相关面试题及答案 1. Kafka中的ISR.AR又代表什么? ISR:与leader保持同步的follower集合 AR:分区的所有副本 2. Kafka中的HW.LEO等分别代表什么? LEO:没个副本的最后条消息的offset HW:一个分区中所有副本最小的offset 3. Kafka中是怎么体现消息顺序性的? 每个分区内,每条消息都有一个offset,故只能保证分区内有序. 4. Kafka中的分区器.序列化器.拦截器是否了解?它们之间的处理顺序是什么? 拦截器 -> 序列化…