理论基础: Hadoop 分布式文件系统架构 HDFS 负责大数据存储 MapReduce 负责大数据计算 namenode  master守护进程 datanode  slaves上负责存储的进程 secondarynamenode   master上提供周期检查和清理任务的进程 jobtracker   master上负责调度datanode上工作的进程 tasktracker  slaves上负责计算的进程 Hadoop 主从节点分解:…

G.系列导航 [G]开源的分布式部署解决方案 - 导航 序言 因各种原因,决定先写使用文档.也证明下项目没有太监.至于安装过程复杂,是因为还没有做一键安装,这个现阶段确实没精力. 项目进度 (点击图片看大图) 必备工具 IDE:VS2015+ 运行环境: .Net Framework 4.6.1(已测可降4.5,其余没测) 宿主:IIS 下载源码 源码地址 http://git.oschina.net/doddgu/G/ ps:强烈希望顺手点下 star.watch.fork VS克隆源码 编译…

G.系列导航 [G]开源的分布式部署解决方案 - 导航 已知问题 导航没有联动 因为权限只是做了基础的登录校验,考虑到后面导航要跟权限关联上暂时是写死的. 只有部分界面使用了Vue.js 因为刚开始没有太多js操作,想着用Razor更顺手更快,到后面做部署界面对前端操作较多,不只是各网页元素的信息同步还涉及到一些公用前端功能点抽取就选择了Vue.JS. 左边导航的Search无效 也是希望与权限关联上,支持搜索各个级别的页面,快速定位,暂时未实现. 设置部署流程的勾无效 目前不管是否勾选,会根据…

G.系列导航 [G]开源的分布式部署解决方案 - 导航 微软官方部署方式 右键项目->发布 这个大家应该再熟悉不过,在部署前有个预览界面可以看本次更新到底更新哪些文件. 既然它可以预览部署结果,那其实它部署也不会完全覆盖,而是采取部分覆盖的方式,并提供了增.删.改的实际数量. 这都要依赖一个叫做 Web Deploy 的项目. 传送门 当然,web deploy功能绝不仅仅如此,包括打包.备份.还原.更新数据库等. 在此不多做普及,提到了它的优点,自然要支持它.所以本项目支持原始+Web Dep…

G.系列导航 [G]开源的分布式部署解决方案 - 导航 设置项目部署流程 项目类型:选择Console,这个跟功能无关,只是做项目分类,后面会有后续功能 宿主:选择Console 部署方式:选择原始,目前部署Console只支持原始部署方式 宿主属性:格式以宿主属性前面的问号给的为准 控制负载均衡 保证你已经设置项目属性里面的负载均衡值,以及服务器的标识 增加了部署环境标签,可以查看与当前项目环境相关的服务器,然后对每台服务器进行设置权重. 跳转到持续集成控制台 当持续集成Build失败时,往往…

笔者博文:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0 个性签名:世界上最遥远的距离不是天涯,也不是海角.而是我站在妳的面前.妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahou…

简介: Apache Hadoop 集群安装文档 软件:jdk-8u111-linux-x64.rpm.hadoop-2.8.0.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 系统:CentOS 6.8 x64 主机列表及配置信息: master.hadoop datanode[:].hadoop CPU: MEM: 16G 8G DISK: 100G* 100…

Hibernate配置文档有框架总部署文档hibernate.cfg.xml 和映射类的配置文档 ***.hbm.xml hibernate.cfg.xml(文件位置直接放在src源文件夹即可) (在配置属性时也可使用hibernate.properties文件来部署,hibernate5.0官方文件在目录hibernate-release-5.2.1.Final\project\etc  下.但在实际开发中一般使用hibernate.cfg.xml) hibernate.cfg.xml 中hi…

这里只记录几个要点,比较容易出问题的地方. 1.各服务器必须有相同的用户(便于使用相同的用户ssh登录)2.ssh互通,配置无密码登录ssh-keygen -t rsa,将id_rsa.pub的内容相互复制到各主机的authorized_keys文件中,注意设置authorized_keys的权限为600(必须的,不然ssh登录时还是提示密码):修改/etc/ssh/ssh_config配置文件,启用RSA和公钥认证方式,并重启sshd服务.(为了保证可以通过ssh登录其他服务器,启动或停止ha…

Kerberos主从配置文档   1. Kerberos主从同步机制 在Master上通过以下命令同步数据: kdb5_util dump /var/kerberos/krb5kdc/slave_db kprop -f  /var/kerberos/krb5kdc/slave_db kerberos2.hadoop.com 2. 搭建 Kerberos 2.1 环境 我们在两个备用NameNode节点上实现Kerberos主从,并在其它需要接入认证的主机上安装Kerberos客户端. 操作系统:…