作业提交流程(MR执行过程) Mapreduce2.x Client:用来提交作业 ResourceManager:协调集群上的计算资源的分配 NodeManager:负责启动和监控集群上的计算容器(container) ApplicationMaster:协调运行MapReduce任务,他和应用程序任务运行在container中,这些congtainer有RM分配并且由NM进行管理 主要过程分析: [作业的提交] 1. Job的submit()方法创建一个内部的Jobsubmiter实例,并且…

1.HDFS副本机制 Hadoopde 默认副本布局策略是: (1)在运行客户端的节点上放置第一个副本(如果客户端运行在集群之外,就随机选择一个节点,不过系统会避免选择那些存储太满或者太忙的节点): (2)第二个副本放置在与第一不同且随机另外选择的机架节点上: (3)第三个副本放置在与第二个副本在同一机架上,且随机选择的另外的一个节点上: (4)其他的副本放置在随机选择的另外的节点上,不过系统会避免在同一个机架上防止太多的副本. 一旦选择了副本的放置位置,就会根据网络拓扑创建一个管线.例如副本数…

以下是阅读<Hive编程指南>后整理的一些零散知识点: 1. 有时候用户需要频繁执行一些命令,例如设置系统属性,或增加对于Hadoop的分布式内存,加入自定的Hive扩展的Jave包(JAR文件),我们可以将这些命令加入hiverc文件里,这样每当CLI(command-line interface命令行界面)启动时,在'hive>'提示符出现前先执行这个hiverc文件. 2. Hive脚本(.hql后缀文件)注释用--. 3. 在Hive内使用Hadoop的dfs命令,直接在Hive…

//*****UITableView相关知识点*****// 1 #import "ViewController.h" // step1 要实现UITableViewDataSource协议,因为tableView不存储数据 @interface ViewController () <UITableViewDataSource, UITableViewDelegate> // step0 准备要显示的数据 @property(nonatomic,strong) NSMuta…

紧接上一篇,继续安装hadoop相关环境 JDK安装:     1. 下载,下面这两个地址在网上找的,可以直接下载:         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.tar.gz         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.rpm     2. 安装,使用rz工具上传下载下来的jdk,解压至/usr/local…

前言,承接之前的 IOS开发涉及有点概念&相关知识点,这次归纳的是Android开发相关,好废话不说了.. 先声明下,Android开发涉及概念比IOS杂很多,可能有很多都题不到的.. 首先由于Android是基于Linux,而Linux又是用c山寨Unix的,但是为什么Android不用开发App,其实我也不懂,我想可能是java比较简单. 同样的,IOS为啥没用java,这个我也想可能是因为IOS是封闭的吧..晕,又废话了..好,开始吧,不过这次很多要查资料了,很多名词.单词不会啊! 首先还…

前言,IOS是基于UNIX的,用C/C+/OC直通系统底层,不想android有个jvm. 首先还是系统架构的分层架构 1.核心操作系统层 Core OS,就是内存管理.文件系统.电源管理等 2.核心服务层 Core Services,包含地址本,像集合.线程.网络.文件.数据库访问等都在这里,因为foundation就在这 3.媒体层 Media,音频.视频.图形绘制及动画等 4.可触摸层 Cocoa Touch,这个最主要可视化组件都在这里,oc开发大多也在这,UIKit就在这 5.应用程序…

添加商品和商品名小项目(使用xib文件终结版) 小贴士:博文末尾有项目源码在百度云备份的下载链接. xib相关知识点总结 01-基本使用 一开始使用xib的时候,如果要使用自定义view的代码,就需要将xib的class设置为那个view的类型,然后我觉得就可以直接使用了,其实不是这样的,还需要代码加载nib文件,并且最后返回数组对象才能使用哦. 关于XIb就看截图ppt 外加截图代码 可以用在自定义控件上 加载xib文件的过程 xib文件 -编译xib成功-> nib文件 加载nib文件的第一…

一.NFS相关知识点 1.NFS常用的路径/etc/exports NFS服务主配置文件,配置NFS具体共享服务的地点/usr/sbin/exportfs NFS服务的管理命令,exportfs -arv 可以通过加载配置生效,也可以通过命令直接共享目录,越过/etc/exports,但是重启失效/usr/sbin/showmount 常用来在客户端,查看NFS配置及挂载结果的命令/var/lib/nfs/etab NFS配置文件的完整参数设定的文件注意:如果需要读写共享,一定要让本地目录被NF…

第一部分:TCP/IP相关知识点 对TCP/IP的整体认 链路层知识点 IP层知识点 运输层知识点 应用层知识点 (这些知识点都可以参考:http://www.cnblogs.com/newwy/p/3234536.html) 第二部分:常见面试题 TCP协议和UDP协议的区别是什么 TCP协议是有连接的,有连接的意思是开始传输实际数据之前TCP的客户端和服务器端必须通过三次握手建立连接,会话结束之后也要结束连接.而UDP是无连接的 TCP协议保证数据按序发送,按序到达,提供超时重传来保证可靠性…

Python 2.7 csv.reader(csvfile, dialect='excel', **fmtparams)的一个坑:csvfile被csv.reader生成的iterator,在遍历每二次时,内容为空 iterator An object representing a stream of data. Repeated calls to the iterator’s __next__() method (or passing it to the built-in function n…

前言: 通过检索论文.书籍.博客,继续学习Caffe,千里之行始于足下,继续努力.将自己学到的一些东西记录下来,方便日后的整理. 正文: 1.代码结构梳理 在终端下运行如下命令,可以查看caffe代码结构,我将其梳理了一下: root@ygh:/home/ygh/caffe# tree -d . ├── build -> .build_release //编译结果存放处,子目录结构与主目录类似 ├── cmake //使用CMake编译时会用到 │   ├── External │   ├──…

关于正则,其实简单就是搜索和匹配.php,java,python等都是支持正则的,php正则兼容perl.好多同学觉得正则比较难,比较抽象,其实正则是非常简单的,主要是一个熟悉和反复练习的结果,还有一个就是对正则相关知识点的熟练.下面我整理了一下PHP正则需要熟悉的相关知识点,只要看完这些知识点,你就可以直接去练习写一下正则了. 定界符       关于定界符并没有确定的符号,常用的符号"/""#" 行定位符   ^   表示以开头第一个个字符开始        $…

  MySQL的自增列(AUTO_INCREMENT)和其它数据库的自增列对比,有很多特性和不同点(甚至不同存储引擎.不同版本也有一些不同的特性),让人感觉有点稍微复杂.下面我们从一些测试开始,来认识.了解一下这方面的特殊知识点:   自增列持久化问题 如果一个表拥有自增列,当前最大自增列值为9, 删除了自增列6.7.8.9的记录,重启MySQL服务后,再往表里面插入数据,自增列的值为6还是10呢?  如果表的存储引擎为MyISAM呢,又会是什么情况? 下面实验环境为MySQL 5.7.21 m…

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍. Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务.Pig可加载数据.表达转换数据以及存储最终结果.Pig内置的操作使得半结构化数据变得有意义(如日志文件).同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换. Hive Hive在Hadoop中扮演数据仓库的角色.Hiv阅读全文   hive的实现机制 摘要: hive利用hdf…

hadoop 相关介绍 hadoop的首页有下面这样一段介绍.对hadoop是什么这个问题,做了简要的回答. The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processi…

本自学笔记来自于Yutube上的视频Hadoop系列.网址: https://www.youtube.com/watch?v=-TaAVaAwZTs(当中一个) 以后不再赘述 自学笔记,难免有各类错误纰漏.请看者谨慎. Hadoop的使用还有大数据时代什么的就不说了.Hadoop不是一个单独的工具,而是一整个生态系统.包括一系列工具.所以首先要先介绍一下Hadoop相关的工具和各类概念,是以后经常会接触到的. 1. Hadoop Core a) HDFS  Hadoop分布式文件系统,Hadoo…

Hadoop相关问题解决 Hive 1.查询hivemeta信息,查到的numRows为-1 集群厂商 集群版本 是否高可用 是否开启认证 cdh 不限 不限 不限 在hivemeta库中可以通过以下sql查询表的元数据信息 SELECT * FROM TABLE_PARAMS WHERE tbl_id = 45857 其中numRows会被用来统计为表的行数,但是发现有些表查出来行数为-1 可能原因 对于一个新创建的表,默认情况下,如果通过INSERT OVERWRITE的方式插入数据,那么H…

String 相关知识点总结 字符串的不可变性 概述 String 被声明为 final,因此它不可继承 在 Java8 中,String 内部使用 char 数组存储数据 public final class String implements java.io.Serializable, Comparable<String>, CharSequence { /** The value is used for character storage. */ private final char v…

☆☆☆rem和css3的相关知识点☆☆☆ 一. Web front-end development engineer rem是根据页面的根元素的font-size的一个相对的单位,即 html{ font-size:16px;//自定义根部元素的字体大小 } 比如我们在一个div中,如此写 div{ width:2rem; }那么我们的width,是16*2=32px 二. css3阴影box-shadow的使用方法及技巧 来源:懒人建站 css3阴影box-shadow的使用方法及技巧,IE9…

http是应用层协议,采用请求/响应模型 1.浏览器地址栏输入URL地址后发生了什么? 浏览器判断地址是否是合理的URL地址,是否是http协议请求,如果是则进入下一步 浏览器对此URL进行缓存检查:如果存在缓存则从本地提取文件(from memory cache,返回200),如果缓存过期或缓存不存在,则发起远程请求 向DNS服务器发送请求,解析URL对应的IP地址 客户端根据IP地址,连同cookie.userAgent等信息向web服务器发送请求,经过三次握手建立TCP连接 客户端向服务器…

EL表达式语言是一种可以计算和输出的java对象的简单语言. 列入请求语句为下面的方式:request.setAttribute("username","zhangsan"); 这样当使用其数值的时候的语句如下:${username}; ---------------------------------------------------------------------------------- 一.当代码定义了一个数组并存储在session里面之后的相关操作.…

什么是SQL注入 sql就是经常说的数据库,而sql注入就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串,最终达到欺骗服务器执行恶意的SQL命令.SQL注入是比较常见的网络攻击方式之一,它不是利用操作系统的BUG来实现攻击,而是针对程序员编写时的疏忽,通过SQL语句,实现无账号登录,甚至篡改数据库. 举个MYSQL简单的例子,数据库中有张users表 当和数据库交互的时候,我们设和前端交互的语句是 select * from users where username='$…

React其它相关知识点 一,解释一下React Fiber? 简单来说,核心就是在虚拟dom和浏览器的调用栈之间多了一个虚拟调用栈,和虚拟dom一样,这个虚拟调用栈也是在内存中的,这个虚拟调用栈就类似于一个任务调度器,它可以暂停一个任务,也可以重启一个任务,也可以终止一个任务,还能给任务分配优先级,这样栈的执行顺序就能定制了.React Fiber利用分片的方式,将渲染分割成了多个事务,然后根据每个事务的执行优先级来进行渲染,从而提升渲染计算性能. 二,React性能分析? 1,可以借助 Ch…

1.URL函数简单解析 1.1.url() 函数可以接收四个参数,分别是两个必选参数:regex.view,和两个可选参数:kwargs.name. def url(regex, view, kwargs=None, name=None): return re_path(regex, view, kwargs, name) regex: 正则表达式,与之匹配的URL会执行对应的第二个参数view. view: 用于执行与正则表达式匹配的URL请求. kwargs: 视图使用的字典类型的参数. n…

redis 的相关知识点 启动 启动代码 redis-cli -a 密码 通用命令 expire: 设置有效期 expire name 10 key key * 相关数据类型 String set:添加或者修改已经存在的一个String类型的键值对 set age 19 get:根据key获取String类型的value get age mset:批量添加多个String类型的键值对 mset k1 v1 k2 v2 mget:根据多个key获取多个String类型的value mget k1…

一.            Zookeeper( 分布式协调服务框架 ) 1.    Zookeeper概述和集群搭建: (1)       Zookeeper概述: Zookeeper 是一个分布式协调服务的开源框架.主要用来解决分布式集群中应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题.ZooKeeper 本质上是一个分布式的小文件存储系统.提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理. (2)       Zookeeper特性: 全局数…

1.Hive相关 脚本导数据,并设置运行队列 bin/beeline -u 'url' --outputformat=tsv -e "set mapreduce.job.queuename=queue_1" -e "select * from search_log where date <= 20150525 and date >= 20150523" > test.txt 将毫秒转换为日期 select from_unixtime(cast(cr…

前言 我们在Android开发中经常会需要使用相机或者从相册中选取图片的情况,今天就把这里面相关的知识点总结下,方便以后开发的时候使用. 1.相机拍照并可自定义截图功能 我们先来看如何使用Intent来打开照相机,相信这段代码大伙应该很熟悉了.代码如下: //打开照相机,进行拍照 intent = new Intent(MediaStore.ACTION_IMAGE_CAPTURE); //设置照片的临时保存路径 intent.putExtra(MediaStore.EXTRA_OUTPUT,…

Apache   软件下载 http://mirror.bit.edu.cn/apache/ 相关文档链接: Apache Hadoop 2.5.2  http://hadoop.apache.org/docs/r2.5.2/ Apache Hadoop 2.6.0  http://hadoop.apache.org/docs/r2.6.0/ sqoop 1.99.4 wiki 文档 https://cwiki.apache.org/confluence/display/SQOOP/Home s…