一.NameNode,SeconderyNamenode,DataNode NameNode,DataNode,SeconderyNamenode都是进程,运行在节点上. 1.NameNode:hadoop的主节点, 保存HDFS的元数据信息      1.fsimage - 它是在NameNode启动时对整个文件系统的快照      2.edit logs - 它是在NameNode启动后,对文件系统的改动序列 2.SeconderyNamenode:  职责是合并NameNode的edit…

     WordCount是hadoop里hello word级的第一个程序,作为一个萌新,我也来跑一跑这个,附带针对新人的说明.      所谓WordCount,就是统计一个或几个文档中相同的单词各有多少个.      首先要有关于MapReduce的基础,用我自己通俗的话来说一下,MapReduce是一个用来计算大型数据的分布式计算框架,所谓框架,就是定义好了样子,我们只要去实现具体的类,它就可以高效的跑起来.      MapReduce正如其名,分为两部分,一个是Map,一个是Red…

本次基于Hadoop2.6版本进行分布式配置,Linux系统是基于CentOS6.5 64位的版本.在此设置一个主节点和两个从节点. 准备3台虚拟机,分别为: 主机名 IP地址 master 192.168.80.10 slave1 192.168.80.11 slave2 192.168.80.12 1.修改主机名称,把三个节点分别修改下面的文件,修改主机名为master,slave1,slave2(root用户操作),重启生效 vi /etc/sysconfig/network 2.把三个节…

>>简单描述OOP 面向对象编程是由面向过程编程发展而来,不再注重于具体的步骤,而是更多的聚焦于对象. 以对象为载体,然后去完善对象的特点(属性),然后实现对象的具体的功能,同时处理对象与对象之间的关系. oop有四大特点:抽象,封装,继承,多态 @>封装 被定义为"把一个或多个项目封闭在一个物理的或者逻辑的包中".一般来说,是把经常用到的功能提取出来,独立成能够共用的代码. 在面向对象程序设计方法论中,封装是为了防止对实现细节的访问. C# 封装根据具体的需要,设置…

概述 MongoDB是目前非常流行的一种非关系型数据库,作为入门系列的第一篇本篇文章主要介绍Mongdb的基础概念知识包括命名规则.数据类型.功能以及安装等. 环境: OS:Windows Version:3.4 一.安装 1.下载解压 在官网下载对应操作系统版本的安装包,然后解压:我这里使用Windows环境安装测试. 2.在D盘创建Mongodb\data\db目录 3.初始化数据 最好先将bin目录加入到环境变量,否则要到命令目录下执行. mongod --dbpath D:\mongod…

一.概述 "记录宏"其实就是将工作的一系列操作结果录制下来,并命名存储(相当于VB中一个子程序). 宏其实就是VBA写的,但是可以通过录制的方法制作宏,做好的宏你可以查看相应的VBA语句,从而反过来学习VBA 二.宏在excel中的使用 excel 2016打开“开发工具面板”->“文件”->“选项”->“自定义功能区”->“勾选开发工具”: 打开开发工具,就可以开始录制与使用宏了. 宏的设置:http://www.office68.com/excel/2453…

转:http://www.nosqlnotes.com/technotes/jaas-concept/ JAAS是”Java Authentication and Authorization Service“的缩写,它提供了认证与授权的基础框架与接口定义,而且提供了良好的插件化机制.本文主要探讨JAAS的基础概念,这些概念也是认证与授权技术中的常用概念. Subject 如果要授权访问一些资源,需要先对资源请求主体进行认证.JAAS框架中,使用Subject来描述这个资源请求主体与安全访问相关的…

一.云的概念 1.云计算的概念 随时 随地 使用任何设备 获得任何服务 2.趋势 )资料开始回归集中处理(存储大量资料) 随时存取 降低遗失风险 减少传输成本 促进团队协作 )网页变为预设开发平台(网页开放性) 网页是开放标准 浏览器的跨平台特性 web application 的普遍性 )高速计算 平行运算(parallel computing) 分散运算(distribute computing) 多核心程序设计 处理大资料的技能 3.云计算的关键特性 )超大规模 )高可靠度 )高扩充性 )…

基于YARN的配置信息, 参见: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ hadoop入门 - 基础概念 HDFS (Hadoop Distributed File System) HDFS 是Hadoop框架的子模块, 采用master-slave结构, 一个HDFS Cluster由一个NameNode(管理系统元数据), 和多个DataNode(存放数据文件)组成. 文件将被分割成多块, 存储在一…

hadoop是一种用于海量数据存储.管理.分析的分布式系统.需要hadoop需要储备一定的基础知识:1.掌握一定的linux操作命令 2.会java编程.因此hadoop必须安装在有jdk的linux环境中. linux环境可以用以下方式获取:1.安装linux操作系统  2.安装linux虚拟机  3.在阿里云.UniteStack上租一个云主机,创建linux环境,然后用putty去链接. linux下jdk的安装:百度即可. 与hadoop相关联的一些基础知识: Google大数据技术:…