The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring into separate daemons. The idea is to have a global ResourceManager (RM) and per-application ApplicationMaster (AM). An application i…
ResourceManager High Availability (RM高可用) Introduction(简介) Architecture(架构) RM Failover(RM 故障切换) Recovering prevous active-RM's state(恢复之前活动的RM的状态) Deployment(部署) Configurations(配置) Admin commands(管理命令) ResourceManager Web UI services(RM Web UI服务) We…
HDFS Architecture HDFS Architecture(HDFS 架构) Introduction(简介) Assumptions and Goals(假设和目标) Hardware Failure(硬件失效是常态) Streaming Data Access(支持流式访问) Large Data Sets(大数据集) Simple Coherency Model(简单一致性模型) "Moving Computation is Cheaper than Moving Data&q…
HDFS Architecture HDFS Architecture(HDFS 架构) Introduction(简介) Assumptions and Goals(假设和目标) Hardware Failure(硬件失效是常态) Streaming Data Access(支持流式访问) Large Data Sets(大数据集) Simple Coherency Model(简单一致性模型) “Moving Computation is Cheaper than Moving Data”(…
MapReduce Tutorial(个人指导) Purpose(目的) Prerequisites(必备条件) Overview(综述) Inputs and Outputs(输入输出) MapReduce - User Interfaces(用户接口) Payload(有效负载) Mapper Reducer Partitioner Counter Job Configuration(作业配置) Task Execution & Environment(任务执行和环境) Memory Man…
Spark官方文档翻译,有问题请及时指正,谢谢. Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spark 是一个快速的,分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python and R的API接口, 他还是一个优秀的图处理引擎. 它还支持一套高级的工具集: Spark SQL,Sql和结构化数据处理: MLlib ,机器学习: GraphX ,图处理: 还有 Spark…
Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(一) Logging raw data(记录原始数据) Logging the raw stream of data flowing through the ingest pipeline is not desired behaviour in many production environments because this may result in leaking sensit…
转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,非常感谢分享! 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介.使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图: 图 1.Hadoop 原 MapReduce…
目录 一些基本知识 ResourceManager 的恢复 Resource Manager的HA YARN Node Labels YARN Node Attributes Web Application Proxy YARN Timeline Server 基于yarn的API,编写一个可以部署到yarn集群执行的应用 应用安全 Node Manager Health Checker Service CGroups with YARN Secure Containers 移除节点 Oppor…
Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(一) Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(二) Flume Properties Property Name            Default  Description flume.called.from.service – If this property is specified then the…
ble4.0开发整理资料_百度文库 http://wenku.baidu.com/link?url=ZYix8_obOT37JUQyFv-t9Y0Sv7SPCIfmc5QwjW-aifxA8WJ4iWajKpfQS7o4aFykDaDUuVmtis_nISFn6ji7lSB2t7NXoZreAzNAAyrB25q Ricardo_Li's blog - 蓝牙4.0——Android BLE开发官方文档翻译http://ricardoli.com/2014/07/31/%E8%93%9D%E7%8…
笔记摘要: 上一篇博客简单介绍了SQLite和GreenDao的比较,后来说要详细介绍下GreenDao的使用,这里就贴出本人自己根据官网的文档进行翻译的文章,这里将所有的文档分成上下两部分翻译,只为更明了,感兴趣的朋友可以关注另一篇翻译GreenDao官方文档翻译下.由于这是第一次发布翻译的文章,肯定会有些翻译不好的地方,大家可以直接提出,以便得到更地道更专业的译文. 第一篇How  to get started ? 原文地址:http://greendao-orm.com/documenta…
搭建环境准备:JDK1.6,SSH免密码通信 系统:CentOS 6.3 集群配置:NameNode和ResourceManager在一台服务器上,三个数据节点 搭建用户:YARN Hadoop2.2下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 步骤一:上传Hadoop 2.2 并解压到/export/yarn/hadoop-2.2.0 外层的启动脚本在sbin目录 内层的被调用脚本在bin目录 Native的so文件都在lib…
Aircrack-ng官方文档翻译---Airdecap-ng   Description[简介] With airdecap-ng you can decrypt WEP/WPA/WPA2 capture files. As well, it can also be used to strip the wireless headers from an unencrypted wireless capture. It outputs a new file ending with ”-dec.ca…
Aircrack-ng官方文档翻译---Airmon-ng Description[简介] This script can be used to enable monitor mode on wireless interfaces. It may also be used to go back from monitor mode to managed mode. Entering the airmon-ng command without parameters will show the int…
Aircrack-ng官方文档翻译---Aireplay-ng[90%] Description[简介] Aireplay-ng is used to inject frames. Aireplay-ng 是一个用来(向网络中)注入帧(即数据包)的工具. The primary function is to generate traffic for the later use in Aircrack-ng for cracking the WEP and WPA-PSK keys. There…
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. 安装LZO 下载lzo 2.06版本,编译64位版本,同步到集群中 wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz export CFLAGS=-m64 ./configure -enable-shared…
OSNIT_百度百科 Salt Stack 官方文档翻译 - 一个想做dba的sa - 博客频道 - CSDN.NET Salt Stack 官方文档翻译 分类: 自动运维 2013-04-02 11:26 378人阅读 评论(0) 收藏 举报 原文地址:http://docs.saltstack.com/ Salt Stack 是什么? Salt 是一种新的基础架构管理方法.容易的在几分钟之内即可配置运行,可伸缩的足以管理成千上万的服务器,足够快的在几秒只内完成沟通.Salt通过分发一个动态的…
Retrofit官方文档翻译 官方文档网址 http://square.github.io/retrofit/ 介绍 Retrofit 将你的 HTTP API 转换为 Java 接口. public interface GitHubService { @GET("users/{user}/repos") Call<List<Repo>> listRepos(@Path("user") String user); } Retrofit 类会生…
编写你的第一个 Django app,第一部分(Page 6)转载请注明链接地址 Django 2.0.1 官方文档翻译: Django 2.0.1.dev20171223092829 documentation 让我们从一个例子开始学习. 在本教程,我们会介绍一个基本的投票app的创建. 它由两部分组成: 一个允许人们查看投票(名词)和投票(动词)的公开的站点. 一个让你可以添加.更改和删除投票的管理站点 我们假定你已经安装好 Django.你可以在 shell 提示符后运行以下命令来查看dj…
英文看着头大,先试着翻译一下. E文原文:http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html 翻译真是太难了,而且我翻译的好烂,好烂,有时候自己也只能理解个大概. ====================================begin==================================== MapReduce在hadoop-0.2.3中发生了很大的变化…
最近在自学android,抽空把官方文档的guide跟training差不多看了一遍,又对比了一些书籍,感觉还是官方文档讲得比较好,所以自己计划把官方文档翻译一下,方便自己的知识巩固以及复习查找,由于英文不是非常好,所以翻译得不是很好,有不好的地方欢迎大家指出哈, 由于之前已经看过官方文档了,感觉最佳的路线是跟着官方training操作,遇到知识点或者不懂的再去guide跟reference中查找阅读,所以先从trainging翻译起了.针对官方文档,在翻译的基础上加入了一些自己的解释,希望能够…
Spring官方文档翻译(1~6章) 转载至 http://blog.csdn.net/tangtong1/article/details/51326887 Spring官方文档.参考中文文档 一.Spring框架概述 Spring框架是一个轻量级的解决方案,可以一站式地构建企业级应用.Spring是模块化的,所以可以只使用其中需要的部分.可以在任何web框架上使用控制反转(IoC),也可以只使用Hibernate集成代码或JDBC抽象层.它支持声明式事务管理.通过RMI或web服务实现远程访问…
CHENYILONG Blog ARC官方文档翻译! - iPhone App开发外包专区 - 威锋论坛 - 威锋网  http://bbs.weiphone.com/read-htm-tid-3448966.html © chenyilong. Powered by Postach.io Blog…
hadoop Spark On Yarn工作原理…
CHENYILONG Blog CALayer---iOS-Apple苹果官方文档翻译之CALayer CALayer /*技术博客http://www.cnblogs.com/ChenYilong/新浪微博http://weibo.com/luohanchenyilong */   CALayer简介 Core Animation是跨平台的,支持iOS环境和Mac OS X环境! 注意:凡是支持跨平台的框架,都不能直接使用UIKit框架,因为UIKit 框架只能应用在iOS而不能用于Mac!…
CHENYILONG Blog iOS数据存取---iOS-Apple苹果官方文档翻译 数据存取/*技术博客http://www.cnblogs.com/ChenYilong/ 新浪微博http://weibo.com/luohanchenyilong*/   iOS应⽤用数据存储的常⽤用⽅方 式 XML属性列表(plist)归档Preference(偏好设置)NSKeyedArchiver归档● SQLite3 ● Core Data  应⽤用沙盒每个iOS应⽤用都有⾃自⼰己的应⽤用沙盒(应⽤…
CHENYILONG Blog UIWebView---iOS-Apple苹果官方文档翻译 UIWebView 技术博客http://www.cnblogs.com/ChenYilong/ 新浪微博http://weibo.com/luohanchenyilong  UIWebView简介  • 是iOS内置的浏览器控件,可以浏览网 页.打开文档等 • 能够加载html/htm.pdf.docx.txt等格 式的文件 • 系统自带的Safari浏览器就是通过UIWebView实现的 关于MIME…
CHENYILONG Blog iOS网络基础---iOS-Apple苹果官方文档翻译 iOS网络基础 技术博客http://www.cnblogs.com/ChenYilong/ 新浪微博http://weibo.com/luohanchenyilong 百度一下,你就知道 百度搜索 网络访问步骤示意图(1) 网络访问步骤示意图(2) 网络访问的四个步骤 • 第一步:确定地址--URL • 第二步:建立请求• 第三步:建立并启动连接等待网络处理中......• 第四步:连接完成,处理结果备注:…
CHENYILONG Blog NSURLSession---iOS-Apple苹果官方文档翻译 NSURLSession 技术博客http://www.cnblogs.com/ChenYilong/新浪微博http://weibo.com/luohanchenyilong OutputStream1. URL2. Request3. Connection:同步.异步=>NSData会话SessionJSON XML HTML 下载文件 上传文件客户端服务器使用URLSession所有的网络访问…