转自:http://blog.csdn.net/notbaron/article/details/48143409 1.  存储层次结构 由于两个不谋而合的因素如下: l  硬件:由于不同存储技术的访问时间相差很大.速度较快的技术每个字节的成本要比速度较慢的技术高,而且容量小.CPU和主存之间的速度差距在增大 l  软件:一个编写良好的程序倾向于展示出良好的局部性. 聪明的人类想出了一种组织存储器系统的方法,叫做 存储器层次结构. 千言万语不如一张图:摘自<深入理解计算机系统第二版> 图1 2…

HDFS前言: 1) 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 3)重点概念:文件切块,副本存放,元数据 4).NameNode节点:由core-site.xml配置指定(name=fs.defaultFS,value=hdfs://slaver1:8020).   DataNode/NodeManager…

CPU Cache 机制以及 Cache miss https://www.cnblogs.com/jokerjason/p/10711022.html CPU体系结构之cache小结 1.What is cache? Cache是用来对内存数据的缓存. CPU要访问的数据在Cache中有缓存,称为“命中” (Hit),反之则称为“缺失” (Miss). CPU访问它的速度介于寄存器与内存之间(数量级的差别).实现Cache的花费介于寄存器与内存之间. 现在 CPU 的 Cache 又被细分了几…

CPU体系结构之cache小结 1.What is cache? Cache是用来对内存数据的缓存. CPU要访问的数据在Cache中有缓存,称为“命中” (Hit),反之则称为“缺失” (Miss). CPU访问它的速度介于寄存器与内存之间(数量级的差别).实现Cache的花费介于寄存器与内存之间. 现在 CPU 的 Cache 又被细分了几层,常见的有 L1 Cache, L2 Cache, L3 Cache,其读写延迟依次增加,实现的成本依次降低. 现代系统采用从 Register ―>…

Linux内核分析第四周学习总结--系统调用的工作机制 内核态 执行级别高,可以执行特权指令,访问任意物理地址,在intel X86 CPU的权限分级为0级. 用户态 执行级别低,只能访问0x00000000-0xbfffffff之间的逻辑地址,权限分级为3级. 区分与切换 CS:eip(代码段选择寄存器/偏移量寄存器)中,CS寄存器最低两位表示特权级.状态通过中断来切换,包括硬件中断和系统调用两种方式. 寄存器上下文 从用户态切换到内核态时,int指令会保存用户态的寄存器上下文到内核堆栈中,同…

ClassLoader的工作机制 java应用环境中不同的class分别由不同的ClassLoader负责加载. 一个jvm中默认的classloader有Bootstrap ClassLoader.Extension ClassLoader.App ClassLoader,分别各司其职: Bootstrap ClassLoader     负责加载java基础类,主要是 %JRE_HOME/lib/ 目录下的rt.jar.resources.jar.charsets.jar和class等 Ex…

在上一篇文章hibernate学习系列-----(1)开发环境搭建中,大致总结了hibernate的开发环境的搭建步骤,今天,我们继续了解有关hibernate的知识,先说说这篇文章的主要内容吧: Configuration类 SessionFactory接口 Session接口 Transaction接口 Query和Criteria接口 下面就进行分类别地详细说明: Configuration类 功能描述:Configuration类负责管理Hibernate的配置信息作并根据配置信息启动H…

Spark工作机制以及API详解 本篇文章将会承接上篇关于如何部署Spark分布式集群的博客,会先对RDD编程中常见的API进行一个整理,接着再结合源代码以及注释详细地解读spark的作业提交流程,调度机制以及shuffle的过程,废话不多说,我们直接开始吧! 1. Spark基本API解读 首先我们写一段简单的进行单词统计的代码,考察其中出现的API,然后做出整理: import org.apache.spark.SparkConf; import org.apache.spark.api.j…

[原文]https://www.toutiao.com/i6593863882484220430/ HashMap和HashSet的内部工作机制 HashMap 和 HashSet 内部是如何工作的?散列函数(hashing function)是什么? HashMap 不仅是一个常用的数据结构,在面试中也是热门话题. Q1. HashMap 如何存储数据? A1. 以键/值对(key/value)形式存储.你可以使用键(key)来存.取值. Q2. HashMap 查询时间的复杂度是怎样的? A…

1:namenode+secondaryNameNode工作机制 2:datanode工作机制 3:HDFS中的通信(代理对象RPC) 下面用代码来实现基本的原理 1:服务端代码 package it.dawn.HDFSPra.RPC.server; import java.io.IOException; import org.apache.hadoop.HadoopIllegalArgumentException; import org.apache.hadoop.conf.Configura…